加藤大晴氏らが公開した、ニューラルネットワークに組み込むことができる3Dメッシュのレンダリング技術！「Neural 3D Mesh Renderer」
3Dポリゴンのレンダラーをディープラーニングに組み込み、画像から3Dメッシュを生成したり、別イメージの要素をテクスチャとして適用したり等が実現できるとか。夢が広がりますね！
概要
ニューラルネットワークに組み込むことができる3Dメッシュのレンダラーである Neural Renderer を開発しました。『逆伝播』と呼ばれる処理をニューラルネットワークに適した形に定義し直したことがポイントです。
そしてこのレンダラーを (a) 単一画像からの3Dメッシュの再構成 (b) 画像から3Dへのスタイル転移と3D版ディープドリームへと応用しました。
サイトの方も是非チェックしてみてください！
新しい論文＆プロジェクトページを公開しました！ 3Dポリゴンのレンダラーをディープラーニングに組み込めるようにする研究で、これを使うと椅子の画像から3Dポリゴンを作ったり、ウサギの3Dモデルをムンクの『叫び』みたいに加工できたりします。 https://t.co/VLeeKLrju5
— Hiroharu Kato (@hiroharu_kato) November 22, 2017
先日公開した論文のソースコードの整理と公開を進めています。まだバグが多いとは思いますが、コア部分については一応見られるところまできました。 https://t.co/GwwWUvQxAj
— Hiroharu Kato (@hiroharu_kato) November 29, 2017
関連リンク
Hiroharu Kato(@hiroharu_kato)さん | Twitter
Neural 3D Mesh Renderer – 加藤大晴のウェブサイト
コメント