VR関連の動画を多数公開しているハニービー氏が、Unreal Engine 5とGPT-Liveを組み合わせた対話型AIキャラクターの開発動画を公開しています。

最新の最強AI GPT-Liveと専用VRゲームを作って会話してみたら…

最新の最強AI、ChatGPT-Liveを活かした試験的な物。アンリアルエンジン５の美麗グラフィックの世界でVRゲームのキャラと会話ができるゲーム（アプリ）を作ってみた。マジで時代が変わってしまう… 本当に危険なゲームを作ったかもしれない。 グラフィック面もめっちゃ気合入れて作って、レイトレやグローバルイルミネーションを試験的に導入したり、やりたい事を色々ぶち込んで作った。

最初の動画では、Unreal Engine 5で制作したVR空間にGPT-Liveを組み込み、リアルタイムに会話できるキャラクターを構築しています。
まずはUE5内からGPT-Liveと音声をやり取りできる環境を構築。そこから3Dキャラクターを配置し、キャラクターの位置から声が聞こえるように調整していきます。プレイヤーが離れれば声も小さくなるため、単に外部のAIと通話しているのではなく、VR空間内に相手が存在している感覚が生まれています。

「会話できるNPC」のさらに先へ「最新の対話AIキャラにVRで触れられる世界を構築する」

最新の最強AI、ChatGPT-LiveとUE５を活かした試験的な物。前回の動画から進化したのは仮想の質量を世界に与える事。手が通り抜ける物体はただのグラフィックプログラムですが、接触や重みがあると世界の粒度がワンランクアップします。VRの楽しさとしての絶対的正解とは限りませんが、世界の重みは没入感を感じる上で重要だと個人的に思います。 前回の動画のプロトタイプは２日でできましたが、今回は２週間もかかっちゃいました。物理と調整は気の遠くなるような調整の繰り返し。普通のVRゲームでカットしがちな理由がよく分かる。

続く動画では、さらに「VRにおける存在感」にフォーカス。
ハニービー氏はVRにおいて重要な要素のひとつとして、物体に触れたときに感じる「仮想的な質量」を挙げています。
VRには両手という非常に自由度の高い入力デバイスがあります。そこで、手や指がゲーム世界の物体へ物理的に干渉できる独自システムを構築。積み重ねたダイスの中央だけを指で弾いたり、物をつまんだり、重い椅子を持ち上げたりといった細かなインタラクションを実現しています。5本の指それぞれがオブジェクトへ物理的に作用する設計になっているのも特徴です。

リンク