中国、南京大学の研究者らによる、リアルタイムレンダリング向けの任意のスケールに対応した超解像技術「Deep Fourier-based Arbitrary-scale Super-resolution for Real-time Rendering」の論文が公開されています。
Deep Fourier-based Arbitrary-scale Super-resolution for Real-time Rendering
多くのグラフィカルアプリケーションにおいて、レンダリングコストを効果的に削減するための有力なツールとして、フレーム超解像は近年重要な進歩を遂げている。しかし、コンテンツをレンダリングするために設計された先行研究のほとんどは、モデルが一旦学習されると、単一の固定スケールしか許容できないという共通の制限に直面している。本論文では、学習済みのニューラル・モデルに対して任意スケールの超解像をサポートすることで、この制限を排除することを試みる。鍵となるのは、高解像度の空間領域における任意の座標を有効なピクセル値に自然にマッピングする、フーリエベースの陰的神経表現である。高解像度のGバッファーが高解像度のレンダリングフレームと同様のスペクトルを持っていることを観察することにより、我々は、顕著なアーチファクトを導入することなく、低解像度入力から微細なディテールを回復する高周波数フーリエマッピング（HFFM）モジュールを設計する。低周波数残差学習(LFRL)戦略を採用することで、低周波数構造を保持し、ネットワーク推論による偏りを低く抑える。さらに、異なるレンダリング内容は、Gバッファーとモーションベクトルから導出された空間的・時間的マスクによってうまく分離される。ニューラルネットワークのいくつかの軽量設計は、幅広いシーンでのリアルタイム性能を保証する。
これ本当にこの品質でアップスケーリング出来るならなかなかの精度ですよ！実用化が楽しみですね。現状は論文公開のみです。
リンク
コメント