1枚の写真からアルベド、ラフネス＆メタリック、ノーマル、照度を抽出する『RGB↔X: Image Decomposition and Synthesis Using Material- and Lighting-aware Diffusion Models』ACM SIGGRAPH 2024技術論文！
RGB↔X: Image Decomposition and Synthesis Using Material- and Lighting-aware Diffusion Models
現実的な順方向レンダリング、ピクセル単位の逆方向レンダリング、および生成的画像合成の3つの分野は、グラフィックスと視覚の別個の関連性のないサブ分野のように見えるかもしれない。しかし、最近の研究により、拡散アーキテクチャに基づくピクセル毎の固有チャンネル（アルベド、粗さ、金属度）の推定が改善されたことが実証された。我々はさらに、X→RGBという固有チャンネルを与えて現実的な画像を合成するという逆の問題も、拡散の枠組みで対処できることを示す。
インテリアシーンの画像領域に焦点を当て、照明も推定するRGB→Xのための改良された拡散モデルと、（完全または部分的な）固有チャンネルから現実的な画像を合成することができる最初の拡散X→RGBモデルを紹介する。私たちのX→RGBモデルは、伝統的なレンダリングと生成モデルの中間領域を探求しています。私たちは、従うべき特定の外観特性のみを指定し、残りの部分のもっともらしいバージョンを幻覚化する自由をモデルに与えることができます。
この柔軟性により、利用可能なチャンネルが異なる異種のトレーニングデータセットを組み合わせて使用することが可能になる。我々は複数の既存データセットを使用し、独自の合成データと実データで拡張することで、従来の研究よりも優れたシーン特性を抽出し、非常に現実的な室内シーンの画像を生成できるモデルを実現した。
えーこれすごすぎ！技術の詳細はプロジェクトページをご確認くだしあ。Githubではコードも公開中です。
リンク
コメント