Smart Inker - ディープラーニングでラフスケッチに対するペン入れをサポート！早稲田大学のSIGGRAPH 2018技術論文！

ディープラーニング(深層学習)でラフスケッチに対するペン入れをサポートする技術「Smart Inker」！早稲田大学のシモセラ エドガー氏、飯塚里志氏、石川博氏によるSIGGRAPH 2018 技術論文

本研究では、深層学習を応用して対話的にラフスケッチのペン入れができるツール、スマートインカー（Smart Inker）を提案する。
スマートインカーは、途切れた線を自然につなぎ、不要な線を効率的に消すことが可能な“スマート”ツール機能をもち、自動出力された線画を効果的に修正することができる。
このような機能を実現するため、本手法ではデータ駆動型のアプローチを取る。スマートインカーは全層畳み込みニューラルネットワークにもとづいており、 このネットワークはユーザ編集とラフスケッチ両方を入力とし正確な線画を出力できるように学習させている。 これにより、様々な種類の複雑なラフスケッチに対して高精度かつリアルタイムの編集が可能となる。 これらのツールの学習のため、提案手法では2つの重要な技術を考案する。すなわち、ユーザ編集をシミュレーションして学習データを作成するデータ拡張手法、 および線画のベクタデータにより学習した細線化ネットワークを用いた線画標準化手法である。これらの手法とスケッチに特化したデータ拡張を組み合わせることで、 実際のユーザ編集データを用意することなく様々な編集パターンを含む学習データを大量に作成でき、効果的にそれぞれのネットワークを学習させることができる。 実際に提案ツールを用いてラフスケッチにペン入れをするユーザテストを行った結果、商用のイラスト制作ソフトに比べ提案ツールは簡単かつ短時間で線画作成が可能となり、 イラスト作成経験がほとんどないユーザでもきれいな線画を作成できることが確かめられた。

これは中々実用的な気がします。

関連リンク

シモセラ エドガー　Smart Inker: ラフスケッチのペン入れ支援