AnimationCafe

Mesh Heal - メッシュの欠けた部分を修復してくれる回復系Blender...

Sahin Ersoz氏による、メッシュの欠けた部分を修復してくれる回復系Blenderアドオン「Mesh Heal」がリリースされていました。

  • 0
  • 0
  • 0
続きを読む

ChatGPT - 人生の悩みからプログラムのコードやツールのスクリプトも教えて...

OpenAIが対話形式に最適化されたAI「ChatGPT」のテスト版を公開しました。無料でお試しが可能です。

  • 92
  • 0
  • 2
続きを読む

RealityScan - RealityCaptureとQuixelが共同で開...

RealityCaptureとQuixelが共同で開発したスマホ向けフォトグラメトリーアプリ「RealityScan」がベータ期間を終え正式に公開されました!

  • 77
  • 0
  • 1
続きを読む

Advent Calendar 2022 - 気になる技術系アドベントカレンダー...

毎年恒例お勉強イベント。2022年も気になるアドベントカレンダーのリンクを集めました。みなさんも是非参加しましょう!

  • 15
  • 0
  • 0
続きを読む

Blender 3.5 Alpha geometry-nodes-simulat...

Blenderの先のバージョンである3.5で実装される、Geometry Nodesのシミュレーションノードを追加したブランチビルドが公開され話題になっています!

  • 27
  • 0
  • 0
続きを読む

Maya、3ds Max のインディー版 | AREA JAPAN | Autodesk

Make-A-Video - MetaのAI研究開発チームによるテキストからビデオを生成する技術が発表!

この記事は約2分5秒で読めます

Meta AIによる、テキストプロンプトから動画を生成する技術「Make-A-Video」が発表されました。


プロモーション

『ファイナルファンタジーVII』リメイクプロジェクトの3D背景アーティストが語るリメイクのこだわりとは | スクウェア・エニックスで働くストーリー | 中途採用 SQUARE ENIX -RECRUITING-


Make-A-Video

Make-A-Videoの研究は、テキストからビデオへの生成を可能にするために構築されたテキストから画像への生成技術における最近の進歩をベースにしています。このシステムは、説明文付きの画像を用いて、世界がどのように見えるか、また、どのように説明されることが多いかを学習します。また、ラベルのない動画を使って、世界の動きを学習します。このデータをもとに、Make-A-Videoは、わずかな文字や行のテキストで、気まぐれで世界にひとつだけの動画を生成し、あなたの想像力を膨らませます。

公式ページより

私たちは、Text-to-Image(T2I)生成における最近の驚異的な進歩を、Text-to-Video(T2V)に直接変換するアプローチであるMake-A-Videoを提案します。我々の直感は単純で、テキストと画像のペアデータから、世界がどのように見えるか、どのように記述されるかを学び
このように、Make-A-Videoは、テキストと画像のペアから世界の様子とその説明を学習し、教師なしビデオ映像から世界の動きを学習する。Make-A-Videoには、
(1)T2Vモデルの学習を高速化できる(視覚表現とマルチモーダル表現を一から学習する必要がない)
(2)教師なしビデオ映像から世界の動きを学習できテキストとビデオのペアデータを必要としない、
(3)生成されたビデオは今日の画像生成モデルの持つ広大さ(美的感覚の多様性、幻想的な描写など)を継承している
という三つの利点があります。
我々は、T2Iモデルに新規かつ効果的な空間-時間モジュールを構築するための、シンプルかつ効果的な方法を設計する。まず、完全な時間的U-Netと注意テンソルを分解し、空間と時間で近似する。次に、T2V以外の様々なアプリケーションを可能にするビデオデコーダ、補間モデル、2つの超解像モデルにより、高解像度かつフレームレートのビデオを生成する空間時間パイプラインを設計する。空間的・時間的解像度、テキストへの忠実性、品質、すべての側面において、Make-A-Videoは質的にも量的にも、テキストからビデオへの生成における新しい最先端を打ち立てたと言える。

論文より

これまた凄いのが出てきましたね。「Make-A-Video」は現在論文のみ公開済みです。
今後の動向が気になる方は、是非サイトをチェックしてみてください。

リンク

Screenshot of makeavideo.studio


プロモーション

C&R Creative Academy – 本気の未経験クリエイター育成プログラム



関連記事

  1. MyHeritage Deep Nostalgia - ディープラーニングの力で1枚の顔写真からアニメーションを生成出来るサイトが話題! #DeepNostalgia

    2021-03-02

  2. AI Learns to Park - UnityのML-Agentsを使用し自動車の駐車を学習している様子。

    2020-02-05

  3. AIによるアニメ中割生成 - DeNAの「構造的生成学習」を使用したアニメの中割生成技術!

    2019-02-19

  4. DeepAnime - 1枚のイラストから顔のアニメーションを生成できる深層学習エンジン!

    2019-08-07

コメントをお待ちしています。

コメント

日本語が含まれない投稿は無視されます。-Posts that do not include the Japanese will be ignored-(スパム対策-anti Spam-)

3D人-3dnchu-

3D/2D/CG関連のネタ・ツール情報を
ほぼ毎日紹介します!

アーカイブ

カテゴリ

PR

育成講座

採用 | 3DCGアーティスト&テクニカルアーティスト大募集 | 株式会社Cygames


12月8日開催!映像匠塾2022 メタバース編 ~進化~その先の未来へ

Curo Inc.

GRASSHOPPER MANUFACTURE

3D人のLINEアカウントを作りました!
友だち追加


follow us in feedly

RSSリーダーで購読する


ほしい物リスト公開中!
3D人運営に援助!
Amazonでリストを見る

Discordチャンネル公開

pixivFUNBOXページ公開!




おすすめ商品Pickup

おすすめ記事

PR