エントリーフォーム - COYOTE 3DCG STUDIO | C&R Creative Studios

Gizmify Media Plane - 連番画像は不要!MP4・AVI・MK...

Gizmify StudiosによるMP4・AVI・MKV・MOVなどの動画ファイルを直接プレーンに読み込む事が可能となるMayaプラグイン「Gizmify Media Plane」のご紹介!

続きを読む

3DMakerpro Eagle Review - 空間を手軽にデジタル化!14...

140mの広域を空間キャプチャー可能なLiDAR 3Dスキャナー3DMakerpro「Eagle」&「Eagle Max」が日本に上陸!Makuakeにてクラウドファンディングが実施中です!一足先にレビューさせていただきました!

続きを読む

CameraBag 2026.0 - 多機能高性能かつ買い切りのスタンドアロン写...

Nevercenterによる写真や動画編集の為のスタンドアロンソフト「CameraBag 2026.0」がリリースされました!

続きを読む

Quad Filler v0.1 Beta Early Access - 3エッ...

数多くの便利アドオンを開発&販売しているCasey_Sheep氏による3エッジと1エッジをワンクリックで理想的な四角形で埋めてくれるシンプルなBlenderアドオン「Quad Filler v0.1」のベータ版が早期アクセスリリースされました!

続きを読む

Retopoflow 4 - v1登場から10年!Blender向けリトポロジー...

Orange Turbine氏によるBlender向けリトポロジーアドオンの最新メジャーアップデート「Retopoflow 4」が正式リリースされました!

続きを読む

Autodesk Flow Studio ソフトウェア | Autodesk Flow Studio 2025 の価格と購入 | Autodesk

GAF: Gaussian Avatar Reconstruction from Monocular Videos via Multi-view Diffusion - スマホなどで撮影された単眼映像から高精度なアニメーション付きの頭部3D Gaussian Splattingを生成する技術!

この記事は約1分32秒で読めます

ミュンヘン工科大学、トヨタ モーター ヨーロッパ、ウーブン・バイ・トヨタの研究者らによる、スマホなどで撮影された単眼映像から高精度なアニメーション付きの頭部3D Gaussian Splattingを生成する技術「GAF」が発表されていました。

GAF: Gaussian Avatar Reconstruction from Monocular Videos via Multi-view Diffusion

我々は、スマートフォンのような汎用デバイスで撮影された単眼動画から、アニメーション可能な3Dガウスアバターを再構成するための新しいアプローチを提案する。 このような録画映像からフォトリアリスティックな3D頭部アバターを再構成することは、限られた観測のため困難であり、未観測の領域が制約を受けずに残り、新しいビューでアーチファクトを引き起こす可能性がある。 この問題に対処するため、我々はマルチビュー頭部拡散モデルを導入し、その事前分布を活用して、欠損領域を埋め、ガウススプラッティングレンダリングにおけるビューの一貫性を確保する。 正確な視点制御を可能にするために、FLAMEベースの頭部再構成からレンダリングされた法線マップを使用し、ピクセル整列された誘導バイアスを提供する。 また、入力画像から抽出されたVAE特徴に拡散モデルを条件付けし、顔のアイデンティティと外観の詳細を保持する。 ガウシアンアバター再構成のために、反復的にノイズ除去された画像を擬似的な基底真理として使用することで、マルチビュー拡散プリオアを抽出し、過飽和の問題を効果的に緩和する。 フォトリアリズムをさらに改善するために、画像にデコードする前に、潜在的なアップサンプリングを適用して、ノイズ除去された潜在的な情報を洗練する。 本手法をNeRSembleデータセットで評価し、GAFが、新規ビュー合成と新規表情アニメーションにおいて、従来の最先端手法を凌駕することを示す。 さらに、汎用デバイスで撮影された単眼動画から、より忠実なアバター再構成を実証する。

中々の精度ですごいですね!この手の技術は今後もまだまだ発展していきそうですよね。実用化されるのが楽しみです。
現在「GAF」は論文のみ公開されており、Githubページは存在しますがコードは非公開です。
詳細に関してはプロジェクトページをご確認ください。

リンク

Screenshot of tangjiapeng.github.io

プロモーション


関連記事

  1. Feat2GS: Probing Visual Foundation Models with Gaussian Splatting - カジュアルな画像からAIがどこまで3D形状とテクスチャを理解できるかをGaussian Splattingで検証する評価手法!

    2025-04-01

  2. GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting - 4枚の画像からGaussian Splatting技術を活用し高品質な3Dオブジェクトを生成するための技術が登場!

    2024-05-21

  3. Vidu4D: Single Generated Video to High-Fidelity 4D Reconstruction with Dynamic Gaussian Surfels - 単一生成動画から4D(連続3D)表現を構築する新しい再構成技術!

    2024-05-28

  4. 3D Gaussian Splatting for Real-Time Radiance Field Rendering - 複数写真や映像から3Dシーンを構築する技術!NeRFよりも高品質と話題の新Radiance Fieldメソッド!SIGGRAPH 2023!

    2023-09-05

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!

※当サイトの一部記事にはアフィリエイトが含まれております。

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR






   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る