SDM-UniPS - 多方向からのライティングを行った複数枚写真から、カラー、ノーマルマップ、ラフネス、メタリックなどの質感表現に必要なテクスチャを構築する技術！CVPR2023論文！

国立情報学研究所（NII）のコンテンツ科学研究系 助教、池畑 諭氏による「SDM-UniPS（Scalable, Detailed, and Mask-Free Universal Photometric Stereo）」が公開されています。CVPR（Computer Vision and Pattern Recognition）2023論文です。

SDM-UniPS（Scalable, Detailed, and Mask-Free Universal Photometric Stereo）

SDM-UniPSは、スケーラブル、マスクフリー、ユニバーサルフォトメトリックステレオネットワークです。この方法は、制御されていない環境で、未知の、空間的に変化する照明条件下で撮影された画像であっても、3Dスキャナーの品質に匹敵する、驚くほど複雑な表面法線マップを復元することができる。付録で示すように、法線マップ推定のためのモデルだけでなく、BRDFパラメータ（ベースカラー、粗さ、メタリック）のモデルも提供する。さらに、法線パラメータとBRDFパラメータの両方を使用して、新しい指向性光源の下でレンダリングされたフレームからビデオを作成するためのコードを提供します。

ユニバーサルフォトメトリックステレオ（UniPS）とは？特定の物理的な照明モデルを想定しているため、使い勝手が制限されている既存のキャリブレーション済みおよびキャリブレーションなしのフォトメトリック・ステレオ・タスクとは異なり、ユニバーサル・フォトメトリック・ステレオの解法アルゴリズムは、特定のモデルを想定することなく、任意の照明バリエーションの下で多様な形状や材質のオブジェクトに対して動作するように設計されています。

このプロジェクトは非商用条項付きMITライセンスのもとでライセンスされています。つまり、ソフトウェアの使用、複製、変更、配布は自由ですが、商用目的での使用は禁止されています。
著作権 (c) [2023] [池畑 諭（Satoshi Ikehata）].

複数方向から撮影

Normal, Color, Roughness, Metallicを生成

合成結果

リンク