エントリーフォーム - COYOTE 3DCG STUDIO | C&R Creative Studios

Storm HydroFX Beta - GPUベースのFLIP Fluidソル...

STORMなどのエフェクトソフトの開発などを手掛けたエフェクトアーティストでツール開発者のSebastian Schäfer氏は、GPU駆動のFLIP Flluidソルバーを搭載したスタンドアロン流体シミュレーションソフト「Storm HydroFX」を公開しました!現在は 無料のオープンベータ版 としてダウンロード可能です。

続きを読む

Simply Shatter v1.0 - 物理ベースのリアルな破砕表現を簡単に...

TAngraFX (Omid Ghotbi氏)とSimplyアドオンシリーズでお馴染みVjaceslavT氏による、物理ベースのリアルな破砕でガラスなどを壊す事が可能なBlenderアドオン「Simply Shatter v1.0」がリリースされました!

続きを読む

Lidax3D Viewer v1.0 - Ply,Pcd,Laz,xyz,AS...

Alvasisによる、Ply,Pcd,Laz,xyz,ASCII形式(asc,ptc,csv,txt)などの点群データを開くことが出来るビューアーアプリ「Lidax3D Viewer」がMicrosoft Store上でリリースされました!無料です!

続きを読む

Unreal Fest Bali 2025 Videos - 2025年6月25...

2025年6月25日-26日インドネシアのバリ島で開催された「Unreal Fest Bali 2025」のセッション映像が一挙公開!個人的にUE使いアーティストとして抑えておきたいセッションもピックアップしてみます!

続きを読む

3DGS Render v4.0 by KIRI Engine - 3D Gau...

3Dスキャンソリューションを展開するKIRI Engineから3D Gaussian Splatting(3DGS)データをインポートしリアルタイム描画出来る無料のBlenderアドオンのメジャーアップデートバージョン「3DGS Render 4.0」がリリースされました!

続きを読む

Autodesk Flow Studio ソフトウェア | Autodesk Flow Studio 2025 の価格と購入 | Autodesk

Seeing the World through Your Eyes - 瞳に反射した画像を元に3Dシーンを復元する技術!

この記事は約1分28秒で読めます

瞳に反射した画像を、3D構築する技術「Seeing the World through Your Eyes」が発表されています。

Seeing the World through Your Eyes

一握りの人物のポートレート写真から、目の反射を利用して観察しているものの3D再構成を計算する!

人間の目の反射特性は、私たちの周りの世界がどのように見えるかについての情報源として、あまり評価されていません。動いている人の目を撮影することで、カメラの直視範囲外のシーンについて、目の反射を利用した複数のビューを収集することができます。本論文では、目の反射を含むポートレート画像を用いて、カメラの視線の先にある3Dシーンを再構築する。
このタスクは、1)目の姿勢を正確に推定することの難しさ、2)目の虹彩とシーン反射のテクスチャのもつれ、によって困難である。本手法では、角膜の姿勢、シーンを表す輝度フィールド、観察者の目の虹彩のテクスチャを合同で精製する。さらに、再構成品質を向上させるために、虹彩のテクスチャパターンに対する簡単な正則化事前処理を提案する。様々な瞳の色を持つ人を撮影した合成画像と実世界の画像を用いた様々な実験を通じて、目の反射を利用して3Dシーンを復元する我々のアプローチの実現可能性を実証する。


角膜の形状は、健康な成人であれば、ほぼ同じである。このため、画像内の角膜のピクセルサイズを数えれば、その人の目がどこにあるのかを正確に計算することができるのです。この知見を利用して、カメラから光線を発射し、近似した目の形状に反射させることで、目の反射を利用した輝度フィールドをトレーニングします。虹彩が再構成に現れないようにするため、虹彩のテクスチャを学習する2Dテクスチャマップを同時に学習させ、テクスチャ分解を実行します。

合成シーンにリアルな眼球モデルを配置することで、眼球の反射だけを利用した完全なシーン再構築を行うことができます。

瞳に映る情報が高画質でないと中々難しいものの、ちょっとした高解像度の写真からは簡単に状況を特定されそうですね。そもそもこの技術って、前向きな活用例があまり考えられないですが…凄い時代になったなぁと関心します。
現状、プロジェクトページは公開されていますが、コードは未公開なようです。

リンク

Screenshot of world-from-eyes.github.io

Screenshot of huggingface.co

プロモーション


関連記事

  1. AI Learns to Park - UnityのML-Agentsを使用し自動車の駐車を学習している様子。

    2020-02-05

  2. Neural State Machine for Character-Scene Interactions - ディープラーニングを活用しキャラクターとオブジェクトとの干渉アニメーションを良い感じにする技術!

    2019-10-17

  3. Editable Dance GEneration (EDGE) - 音楽に合わせて人型3Dモデル用のダンスアニメーションを生成可能なAIモデル!スタンフォード大学が開発!

    2023-04-29

  4. Tafi Text-to-3D AI character engine - Daz 3Dを所有するTafiによるテキストから3Dキャラクターを生成するエンジンが発表!ベータテスターを募集中

    2023-06-14

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!

※当サイトの一部記事にはアフィリエイトが含まれております。

アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR






   
USD
3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る