Seeing the World through Your Eyes - 瞳に反射した画像を元に３Dシーンを復元する技術！

瞳に反射した画像を、3D構築する技術「Seeing the World through Your Eyes」が発表されています。

Seeing the World through Your Eyes

一握りの人物のポートレート写真から、目の反射を利用して観察しているものの3D再構成を計算する！

人間の目の反射特性は、私たちの周りの世界がどのように見えるかについての情報源として、あまり評価されていません。動いている人の目を撮影することで、カメラの直視範囲外のシーンについて、目の反射を利用した複数のビューを収集することができます。本論文では、目の反射を含むポートレート画像を用いて、カメラの視線の先にある3Dシーンを再構築する。
このタスクは、1）目の姿勢を正確に推定することの難しさ、2）目の虹彩とシーン反射のテクスチャのもつれ、によって困難である。本手法では、角膜の姿勢、シーンを表す輝度フィールド、観察者の目の虹彩のテクスチャを合同で精製する。さらに、再構成品質を向上させるために、虹彩のテクスチャパターンに対する簡単な正則化事前処理を提案する。様々な瞳の色を持つ人を撮影した合成画像と実世界の画像を用いた様々な実験を通じて、目の反射を利用して3Dシーンを復元する我々のアプローチの実現可能性を実証する。

角膜の形状は、健康な成人であれば、ほぼ同じである。このため、画像内の角膜のピクセルサイズを数えれば、その人の目がどこにあるのかを正確に計算することができるのです。この知見を利用して、カメラから光線を発射し、近似した目の形状に反射させることで、目の反射を利用した輝度フィールドをトレーニングします。虹彩が再構成に現れないようにするため、虹彩のテクスチャを学習する2Dテクスチャマップを同時に学習させ、テクスチャ分解を実行します。

合成シーンにリアルな眼球モデルを配置することで、眼球の反射だけを利用した完全なシーン再構築を行うことができます。

リンク