RLCreature - ドワンゴによる深層強化学習を用いた人工生命のモーション自動生成技術！オープンソースとして公開！

ドワンゴによる深層強化学習を用いた人工生命のモーション自動生成技術！
Unityで構築されたオープンソースプロジェクト「RLCreature」がGithubにて公開！SIGGRAPH 2018にもブース出展されるそうですよ。

仮想の未知の生物でも，我々はその形状から自然な動きを想像することができる． この研究では，そのような，未知の形状の生物に対して自然な動きを与える手法を提案します． 自然な動きを，効率の良い動きと考え，なるべく短時間で目的(報酬)を最大化する動きを深層強化学習で得ます．
近年このような深層強化学習による運動生成はいくつか研究が行われています． 本研究では特に，スマートフォンなどのモバイル環境で実行可能な，運動生成のための深層強化学習手法を提案します．
ここで報酬とは，たとえば未来に渡っての餌の獲得量など. その報酬を最大化するための出力は，それぞれの生命のすべての関節の，毎フレームでの角度となります． しかし，未来に渡っての報酬を予測して最大化すること，すべての関節をすべてのフレームについて決めること，は非常に難しい問題であるため，限られた計算資源でこの問題を解くために我々は問題を2つに分割したシステムを提案します．
報酬を最大化するために，”前進”・”ジャンプ”など離散化された行動指示を数十フレームごとに決定する強化学習部分(Decision-Maker)． それより細かい数フレームごとに，その数フレーム内だけで行動指示内容をなるべく達成するための探索(バンディットアルゴリズムを用いる)部分(Sequence-Maker)． 2つの複雑さをこの2つの学習アルゴリズムがそれぞれ分担して解くことによって，モバイル環境で数十体の人工生命がリアルタイムに学習することを達成しました．
8/12日から開催されるSIGGRAPH 2018のStudioにて，ドワンゴではこの研究の展示と発表を行います．

DMVのメンバーが開発に参加した強化学習のプロジェクト“RLCreature”を公開しました。Unityを利用して、スマートフォン内で完結した、強化学習による人工生命の運動を生成します。来週カナダで行われるSIGGRAPHのStudioゾーンで展示も行います。 https://t.co/5wop7LwkAa https://t.co/em67VD7CJS

— Dwango Media Village (@Dwango_DMV) August 7, 2018

これはいろいろ夢が広がりそうな技術ですね。
Unityのコードと人工生命のデモ、その他２つのライブラリをオープンソースとしてGithub上で公開してます。
是非チェックしてみてください。

関連リンク

• スマートフォンで人工生命数十体がリアルタイムに学習可能な深層強化学習 – Dwango Media Village
• CGのトップカンファレンス「SIGGRAPH 2018」にブース出展 ドワンゴ開発、深層強化学習を用いた人工生命のモーション自動生成技術 ～オープンソースで本日先行公開、誰でも体験可能に～｜ニュース｜広報情報｜株式会社ドワンゴ