Neural 3D Mesh Renderer - ニューラルネットワークに組み込むことができる3Dメッシュのレンダリング技術！

加藤大晴氏らが公開した、ニューラルネットワークに組み込むことができる3Dメッシュのレンダリング技術！「Neural 3D Mesh Renderer」

3Dポリゴンのレンダラーをディープラーニングに組み込み、画像から3Dメッシュを生成したり、別イメージの要素をテクスチャとして適用したり等が実現できるとか。夢が広がりますね！

概要

ニューラルネットワークに組み込むことができる3Dメッシュのレンダラーである Neural Renderer を開発しました。『逆伝播』と呼ばれる処理をニューラルネットワークに適した形に定義し直したことがポイントです。

そしてこのレンダラーを (a) 単一画像からの3Dメッシュの再構成 (b) 画像から3Dへのスタイル転移と3D版ディープドリームへと応用しました。

サイトの方も是非チェックしてみてください！

新しい論文＆プロジェクトページを公開しました！ 3Dポリゴンのレンダラーをディープラーニングに組み込めるようにする研究で、これを使うと椅子の画像から3Dポリゴンを作ったり、ウサギの3Dモデルをムンクの『叫び』みたいに加工できたりします。 https://t.co/VLeeKLrju5

— Hiroharu Kato (@hiroharu_kato) November 22, 2017

先日公開した論文のソースコードの整理と公開を進めています。まだバグが多いとは思いますが、コア部分については一応見られるところまできました。 https://t.co/GwwWUvQxAj

— Hiroharu Kato (@hiroharu_kato) November 29, 2017

関連リンク

Hiroharu Kato(@hiroharu_kato)さん | Twitter

GitHub – hiroharu-kato/neural_renderer: The code for the paper Neural 3D Mesh Renderer by Hiroharu Kato, Yoshitaka Ushiku, and Tatsuya Harada.

Neural 3D Mesh Renderer – 加藤大晴のウェブサイト