Talking Head Anime from a Single Image 3 - １枚の2Dキャラ立ち絵からVTuberになれるAI技術の新バージョン！上半身の動きにも対応！

Google JapanのエンジニアPramook Khungurn氏による、１枚の2Dアニメキャラ立ち絵からVTuberになれる技術「Talking Head Anime from a Single Image」の第３弾アップデートの情報が2022年6月6日に公開されています。

Talking Head Anime from a Single Image 3

私は、1枚の画像からアニメキャラクターをアニメーション化するニューラルネットワークシステムの3回目の試作を行った。前作は頭部のみのアニメーションでしたが、今回は上半身もアニメーションさせることができます。具体的には、以下の3種類の動きを新たに追加しました。
新システムでは、人間の動きをアニメキャラに転写できる私の既存ツールを更新しました。機能を拡張したものは以下の通りです。

また、システムの小型化、高速化についても実験を行いました。画質の劣化を抑えながら、必要なメモリを大幅に削減し（サイズ18倍、RAM使用量3倍 削減）、若干の高速化を実現することができました。

リンク

旧バージョン紹介記事

Talking Head Anime from a Single Image – 深層学習を用いて一枚のキャラクター画像から顔アニメーションを制作するシステム