オックスフォード大学の知覚知能・拡張現実研究室（The Oxford Perceptual Intelligence and Extended Reality Lab (PIXL))のMiguel Farinha氏とRonald Clark氏による単一画像を再ライティングする技術「PIXLRelight:Controllable Relighting via Intrinsic Conditioning」が公開されています！
PIXLRelight:Controllable Relighting via Intrinsic Conditioning
我々は、物理的に制御可能な単一画像のリライティングを実現するフィードフォワード手法「PIXLRelight」を提案する。既存の手法は、照明制御が限定的である（例えば、テクスチャや環境マップによるもの）、逆レンダリングと順レンダリングを連鎖させる際に誤差が蓄積する、あるいは画像ごとの最適化に多大なコストがかかるといった課題を抱えている。我々の核心的なアイデアは、実写写真またはPBRレンダリングのいずれかから得られる共通の内在的条件付けを通じて、物理ベースレンダリング（PBR）と学習型画像合成を橋渡しすることである。学習時、対になった多照明写真群をアルベド、拡散シェーディング、および非拡散残差に分解し、これらをモデルの条件付けとして用いる。推論時、ユーザー指定のPBR照明下で入力画像を粗い3D再構成し、パストレーシングによるレンダリングから同じ条件付けを計算する。その後、トランスフォーマーベースのニューラルレンダラーが、ターゲットの照明をソース写真に適用し、ピクセル単位のアフィン変形による調整を通じて、画像の微細なディテールを保持します。PIXLRelightは、任意のPBRスタイルの照明制御を可能にし、最先端のリライティング品質を実現し、1画像あたり0.1秒未満で処理を実行します。
推論パイプライン：単一の入力画像に対しDepth Anything 3によりジオメトリを復元、三角メッシュに非投影変換、Marigold-IID-Appearance によってマテリアルが復元。テクスチャ付きメッシュはBlenderに読み込まれ、そこでユーザーが希望する照明を設定後BlenderのCyclesがシーンをレンダリングし、ターゲットのイントリンシックマップを生成。PIXLRelight側で、元画像とターゲットのイントリンシックマップを受け取り、最終的なリライト予測を生成。
トレーニングパイプライン：ソース画像をViTブランチによってパッチ化。ターゲット画像はMarigold-IID-Lightingモデルによって抽出された、チャネルごとに連結されたターゲットのイントリンスティックは、ConvNeXtブランチによってパッチ化。2つのトークングリッドは空間位置ごとに融合、共通の次元へ投影された後、セルフアテンショントランスフォーマートランクによって処理。DPTヘッドは、トランクの中間特徴を読み出し、ソース画像のピクセルごとのアフィン変形を予測する。トレーニングは、ピクセル損失と知覚損失を用いて、ターゲット画像に対してエンドツーエンドで教師あり学習を行う。
これは中々面白い技術！Blenderを活用してるのも面白いなぁ
是非チェックしてみてください！
リンク
Introducing PIXLRelight- our new method for precise image relighting. Our method allows you to specify the lighting you want exactly as in a standard 3D pipeline (no text prompts or exemplars).
— Ronnie Clark (@ronnieclark__) May 28, 2026
Try the interactive demo here: https://t.co/xIA9Lvhp7g
w/Miguel Farinha pic.twitter.com/3lFHEENBwW
コメント