Globally and Locally Consistent Image Completion - ディープラーニングによる画期的な画像補完 - SIGGRAPH 2017 技術論文

早稲田大学 研究院助教、飯塚里志氏による、ディープラーニングで画像補完を行う技術「Globally and Locally Consistent Image Completion：ディープネットワークによるシーンの大域的かつ局所的な整合性を考慮した画像補完」の技術がすごい！

SIGGRAPH 2017に論文が正式に採択されました。ディープラーニングによって複雑な画像補完を行う手法です。画像中の不要な物体を消したり、人の顔を変化させたりもできます。https://t.co/iHccQXmqEh pic.twitter.com/zhmVjIajcy

— 飯塚 里志 Satoshi Iizuka (@stsiizk) April 30, 2017

提案手法によるサングラスの除去。 pic.twitter.com/EcCukUeUUu

— 飯塚 里志 Satoshi Iizuka (@stsiizk) April 30, 2017

概要

本研究では，畳み込みニューラルネットワークを用いて，シーンの大域的かつ局所的な整合性を考慮した画像補完を行う手法を提案する．提案する補完ネットワークは全層が畳み込み層で構成され，任意のサイズの画像における自由な形状の「穴」を補完できる．この補完ネットワークに，シーンの整合性を考慮した画像補完を学習させるため，本物の画像と補完された画像を識別するための大域識別ネットワークと局所識別ネットワークを構築する．大域識別ネットワークは画像全体が自然な画像になっているかを評価し，局所識別ネットワークは補完領域周辺のより詳細な整合性によって画像を評価する．この2つの識別ネットワーク両方を「だます」ように補完ネットワークを学習させることで，シーン全体で整合性が取れており，かつ局所的にも自然な補完画像を出力することができる．提案手法により，様々なシーンにおいて自然な画像補完が可能となり，さらに従来のパッチベースの手法ではできなかった，入力画像に写っていないテクスチャや物体を新たに生成することもできる．これにより，人間の顔の一部を補完するような，複雑な画像補完を実現した．

Photoshopなどのソフトと機能が統合されれば…すごい事になりそうな…

その他ツイートもピックアップ

リクエストが多かったタモリさんのサングラス除去。失敗？ pic.twitter.com/pTWwAlf14f

— 飯塚 里志 Satoshi Iizuka (@stsiizk) April 30, 2017

せっかくなので、提案モデル（https://t.co/iHccQXmqEh）でイラストの補完もやってみました。モデルにはイラストデータを学習させています。 pic.twitter.com/G9Vk93yeIT

— 飯塚 里志 Satoshi Iizuka (@stsiizk) May 9, 2017

イラストの例も面白いですね！
この技術を多用して「絵を描きました！」なんて言っちゃうと、色々問題が発生しそうですが（笑
夢が広がります。

関連リンク

• Satoshi Iizuka(@stsiizk)さん | Twitter
• 飯塚里志 — ディープネットワークによる画像補完（SIGGRAPH 2017）