Generating Digital Painting Lighting Effects via RGB-space Geometry - 1枚のイラストからライティング効果を生成する技術！SIGGRAPH 2020技術論文

Lvmin Zhang氏、Edgar Simo-Serra 氏、Yi Ji 氏、Chunping Liu氏らによる、1枚のイラストからライティング効果を生成する技術！「Generating Digital Painting Lighting Effects via RGB-space Geometry」
SIGGRAPH2020＆TOG2020 向け技術論文

概要

単一の画像からデジタル絵画照明効果を生成するアルゴリズムを提示します。私たちのアルゴリズムは重要な観察に基づいています。アーティストは多くのオーバーラップストロークを使用して照明効果をペイントします。つまり、ストローク履歴が密なピクセルはより多くの照明ストロークを収集する傾向があります。この観察に基づいて、カラージオメトリを使用してデジタルペインティングのストロークの密度を推定し、アーティストの粗から細へのワークフローを模倣することで新しい照明効果を生成するアルゴリズムを設計します。粗い照明効果は、最初にウェーブ変換を使用して生成され、次に元のイラストのストローク密度に従って使用可能な照明効果にレタッチされます。
私たちのアルゴリズムはコンテンツ認識型であり、生成された照明効果は画像構造に自然に適応し、デジタルおよびマットペインティングの照明効果を生成するための現在の労働集約的なワークフローを簡素化するインタラクティブツールとして使用できます。さらに、このアルゴリズムは、写真や3Dレンダリング画像に使用可能な照明効果も生成できます。私たちのアプローチは、詳細な定性分析と知覚ユーザー調査を含む定量分析の両方で評価します。結果は、提案されたアプローチが既存のアプローチに対して好ましい照明効果を生み出すことができるだけでなく、必要な相互作用時間を大幅に削減できることを示しています。

ちなみにプロジェクト名は「PaintingLight」と呼び、Style2Paintsチームが実施するプロジェクトで、2019年1月頃にスタートしたそうです。

デジタルペインティングイルミネーションデータを取得するのは簡単ではないため、このアルゴリズムはディープラーニングを使用しません。核となるアイデアは、色のジオメトリを利用して、知覚的に実行可能なリライティングシステムを構築することです。そのようなリライティングは物理的に正確ではないかもしれませんが、芸術的なユースケースには十分です。

これまた面白い技術が登場しましたね。絵の完成後にライティング調整が出来ると、表現の幅がさらに広がりそうです。

今後の展開も楽しみですね。Githubにソースも公開されているっぽいですが、プロジェクトはまだ技術研究段階なので注意です。

リンク

Generating Digital Painting Lighting Effects via RGB-space Geometry