COYOTE スタジオ採用説明会 | クリエイターのための総合情報サイト CREATIVE VILLAGE

Blender 5.3 | 3D Gaussian Splattingに標準対応...

Blender Foundationと開発コミュニティは、2026年11月10日、無料&オープンソースの3DCGソフト「Blender 5.3」を正式リリースしました!

続きを読む

HairDeck: Animation-Ready Stylized Hair ...

清華大学のYuze He氏・Yixiang Wei氏ら&カーネギーメロン大学・香港中文大学の研究チームが、1枚の画像からスタイライズされた3Dヘアを生成する技術「HairDeck」を公開しています。

続きを読む

HairHarpy v2.0.0 | カーブによるメッシュ生成やUV展開&リトポ...

3DキャラクターアーティストのCataRackta氏( @CataRackta )が、スタイライズされた髪型を制作するソフト「HairHarpy v2.0.0」を無料公開しました。

続きを読む

Talk風Live翻訳 1.0 | PCの英語音声をやさしい日本語のチャットに!...

エンジニア上がりの元ゲーム会社ディレクターStudioYebisu氏( @studio_yebisu )が、PCで再生中の英語音声を日本語に翻訳するWindows向けアプリ「Talk風Live翻訳 1.0.0」を公開しました。

続きを読む

Floaters - The BIGGEST 3D Modeling Cheat...

Blender BrosのJosh氏による、Blenderでフローターを使ったディテール追加の方法を解説するチュートリアル動画「Floaters - The BIGGEST 3D Modeling Cheat Code」をご紹介!

続きを読む

Seeing the World through Your Eyes - 瞳に反射した画像を元に3Dシーンを復元する技術!

この記事は約1分28秒で読めます

瞳に反射した画像を、3D構築する技術「Seeing the World through Your Eyes」が発表されています。

Seeing the World through Your Eyes

一握りの人物のポートレート写真から、目の反射を利用して観察しているものの3D再構成を計算する!

人間の目の反射特性は、私たちの周りの世界がどのように見えるかについての情報源として、あまり評価されていません。動いている人の目を撮影することで、カメラの直視範囲外のシーンについて、目の反射を利用した複数のビューを収集することができます。本論文では、目の反射を含むポートレート画像を用いて、カメラの視線の先にある3Dシーンを再構築する。
このタスクは、1)目の姿勢を正確に推定することの難しさ、2)目の虹彩とシーン反射のテクスチャのもつれ、によって困難である。本手法では、角膜の姿勢、シーンを表す輝度フィールド、観察者の目の虹彩のテクスチャを合同で精製する。さらに、再構成品質を向上させるために、虹彩のテクスチャパターンに対する簡単な正則化事前処理を提案する。様々な瞳の色を持つ人を撮影した合成画像と実世界の画像を用いた様々な実験を通じて、目の反射を利用して3Dシーンを復元する我々のアプローチの実現可能性を実証する。


角膜の形状は、健康な成人であれば、ほぼ同じである。このため、画像内の角膜のピクセルサイズを数えれば、その人の目がどこにあるのかを正確に計算することができるのです。この知見を利用して、カメラから光線を発射し、近似した目の形状に反射させることで、目の反射を利用した輝度フィールドをトレーニングします。虹彩が再構成に現れないようにするため、虹彩のテクスチャを学習する2Dテクスチャマップを同時に学習させ、テクスチャ分解を実行します。

合成シーンにリアルな眼球モデルを配置することで、眼球の反射だけを利用した完全なシーン再構築を行うことができます。

瞳に映る情報が高画質でないと中々難しいものの、ちょっとした高解像度の写真からは簡単に状況を特定されそうですね。そもそもこの技術って、前向きな活用例があまり考えられないですが…凄い時代になったなぁと関心します。
現状、プロジェクトページは公開されていますが、コードは未公開なようです。

リンク

Screenshot of world-from-eyes.github.io

Screenshot of huggingface.co

PR

関連記事

  1. Meshy-3 - 登場から1周年の3D系生成AIサービス!生成品質向上!彫刻やPBRスタイル対応!部分修正も可能になった最新アップデートが公開!

    2024-05-01

  2. TRELLIS: Structured 3D Latents for Scalable and Versatile 3D Generation - マイクロソフトによるAI活用3Dアセット生成技術が登場!テキストや画像から3Dアセットを生成!

    2024-12-12

  3. HY-Motion 1.0 - Tencentがテキストから人体骨格ベースの3Dキャラクターモーションを生成するAIモデルをオープンソースで公開!

    2026-01-06

  4. Hunyuan3D-Part - テンセントから3Dメッシュのパーツ分解技術がオープンソース公開!P3-SAMとX-Part技術を採用!

    2025-09-27

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/VR/GAME/AIなどのCGに関連する個人的に気になる情報をほぼ毎日紹介!XやYoutubeなども是非フォローよろしくお願いします!
※当サイトのリンクにはアフィリエイトを含みます

※当サイトの一部記事にはアフィリエイトが含まれております。

スポンサープロダクト


X-Ray Realtime Light and TexturingTool

CGElementaryに関する記事一覧


Character Creator - アニメーション、ゲーム、AR/VR のための 3D キャラメイクソフト

Reallusionに関する記事一覧


Paintstorm Studio

Paintstorm Studioに関する記事一覧


MarvelousDesigner

MarvelousDesignerに関する記事一覧


JangaFX - Real-Time VFX Software For Real-Time VFX Artists

JangaFXに関する記事一覧


パルミーの講座が見放題!月謝制お申し込み|お絵かき講座パルミー

Palmieに関する記事一覧


《ドラゴン》―複雑な生き物モデリングとマップ作成技術のコース【Japanese】

WINGFOXに関する記事一覧


アーカイブ

カテゴリ

おすすめ商品Pickup

注目の記事

PR


PR






Donate

   
USD
3D人のLINEアカウントを作りました!
友だち追加




おすすめ商品Pickup

おすすめ記事

ページ上部へ戻る