Leonardo Paolini氏が実写動画素材からAOV（Arbitrary Output Variables）を出力する無料ツール「LiveActionAOV」のアルファ版（pre-v1）をGithub上で公開しました！

LiveActionAOV

LiveActionAOVはVFXプレート用のAI駆動型AOVパスジェネレーターです。
あらゆる実写プレートから、深度、法線、位置、オプティカルフロー、マット、アンビエントオクルージョンといったCG品質のAOVパスを生成し、Nukeで直接使用可能なサイドカーEXR形式で出力します。たった1つのコマンドで全パスが生成され、元のプレートには一切手を加えません。深度の手描き作業はもう不要です。マッチムーブの待ち時間も不要です。年間500ドルのサブスクリプションも不要です。

生成されるもの

• Z深度（カメラからの距離。ZDefocusとネイティブに連携）
• N.x/N.y/N.z サーフェス法線s (カメラ座標系, Unit-length, VFX convention)
• P.x/P.y/P.z 位置（深度から算出）
• 前方および後方へのオプティカルフロー（プレート解像度のピクセル — VectorBlurがそのまま動作します）
• RGBA形式のヒーローマット（SAM 3 自動検出 + ソフトアルファの微調整）
• 概念ごとのセマンティックマスク（人物、車両、空など）
• スクリーン空間アンビエントオクルージョン（深度と法線から）

技術仕様

• Sidecar EXR出力、Nukeネイティブのチャンネル命名
• AIモデル向けの自動ディスプレイトランスフォームを備えたシーン参照型EXR入力
• プラグインアーキテクチャ：Pythonのエントリポイントを使用して独自のモデルを追加する
• デフォルトで商用利用可能（MITコアライセンス、モデルごとのライセンス制限あり）
• NVIDIA製GPU 1基で動作します（RTX 5090で動作確認済み）

開発に使用された技術

• Python, PyTorch, OpenImageIO, OpenColorIO
• Depth Anything V2 / DepthCrafter
• NormalCrafter / DSINE
• SAM 3 + RVM / MatAnyone 2
• RAFT optical flow

リンク