Appleが１枚の画像から3Dシーン（3D Gaussian Splatting）を生成する技術「Sharp Monocular View Synthesis in Less Than a Second」を発表しました！
Sharp Monocular View Synthesis in Less Than a Second
SHARPは、単一画像からのフォトリアリスティックな視点合成手法である。SHARPは、与えられた単一写真から、描写されたシーンの3Dガウス表現のパラメータを回帰する。これは、ニューラルネットワークへの単一のフィードフォワードパスにより、標準GPU上で1秒未満で実行される。SHARPが生成する3Dガウス表現はリアルタイムでレンダリング可能であり、近接視点の高解像度フォトリアリスティック画像を生成する。この表現は絶対的なスケールを持つメトリック表現であり、メトリックなカメラ移動をサポートする。実験結果から、SHARPがデータセット間で頑健なゼロショット汎化を実現することが実証された。複数のデータセットにおいて新たな最先端性能を達成し、従来の最良モデルと比較してLPIPSを25～34%、DISTを21～43%低減すると同時に、合成時間を3桁オーダーで短縮している。
SHARPは1枚の写真から1秒未満でフォトリアリスティックな3D表現を生成します。生成された表現は近距離ビューの高解像度レンダリングをサポートし、標準GPU上で毎秒100フレーム以上でシャープなディテールと微細構造を実現します。Unsplashの写真を用いて実例を示します。
撮った写真で手軽に3D化の時代になりますなぁ
今後の発展が楽しみです。詳細はプロジェクトページやGithubページを是非チェックしてみてください！
リンク
コメント