国立情報学研究所（NII）のコンテンツ科学研究系 助教、池畑 諭氏による「SDM-UniPS（Scalable, Detailed, and Mask-Free Universal Photometric Stereo）」が公開されています。CVPR（Computer Vision and Pattern Recognition）2023論文です。
SDM-UniPS（Scalable, Detailed, and Mask-Free Universal Photometric Stereo）
SDM-UniPSは、スケーラブル、マスクフリー、ユニバーサルフォトメトリックステレオネットワークです。この方法は、制御されていない環境で、未知の、空間的に変化する照明条件下で撮影された画像であっても、3Dスキャナーの品質に匹敵する、驚くほど複雑な表面法線マップを復元することができる。付録で示すように、法線マップ推定のためのモデルだけでなく、BRDFパラメータ（ベースカラー、粗さ、メタリック）のモデルも提供する。さらに、法線パラメータとBRDFパラメータの両方を使用して、新しい指向性光源の下でレンダリングされたフレームからビデオを作成するためのコードを提供します。
ユニバーサルフォトメトリックステレオ（UniPS）とは？特定の物理的な照明モデルを想定しているため、使い勝手が制限されている既存のキャリブレーション済みおよびキャリブレーションなしのフォトメトリック・ステレオ・タスクとは異なり、ユニバーサル・フォトメトリック・ステレオの解法アルゴリズムは、特定のモデルを想定することなく、任意の照明バリエーションの下で多様な形状や材質のオブジェクトに対して動作するように設計されています。
このプロジェクトは非商用条項付きMITライセンスのもとでライセンスされています。つまり、ソフトウェアの使用、複製、変更、配布は自由ですが、商用目的での使用は禁止されています。
著作権 (c) [2023] [池畑 諭（Satoshi Ikehata）].
複数方向から撮影
Normal, Color, Roughness, Metallicを生成
合成結果
昔xNormalなどで法線マップを作製するときに、各方向からのライティング素材を使ったのを思い出しました。
メタリックの結果はちょっと疑問がありますが、出来上がるテクスチャ品質がxNormalの物とはもう雲泥の差ですね。
コードはGithub似て公開中！是非チェックしてみてください！
リンク
Blender上で使いたい方。早速アドオン化されていますよ。
こちらの記事もチェックしてみてね
RSSリーダーで購読する
コメント