PIFuHD - 1枚の人物画像からフル3Dモデルを生成する技術！Githubにてコードが公開！CVPR2020

Shunsuke SAITO氏、Tomas Simon氏、Jason Saragih氏、Hanbyul Joo氏による、1枚の人物画像からフル3Dモデル化を実現する技術「PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization」のコードがGithubにて公開！CVPR 2020技術論文

※2020//06/16 – 動画を追加しました。

プロモーション

検証映像

解説動画

５分版

１分版

画像ベースの3D人間の形状推定における最近の進歩は、ディープニューラルネットワークによって提供される表現力の大幅な改善によって推進されてきました。現在のアプローチは現実世界の設定で可能性を実証していますが、入力画像にしばしば存在する詳細レベルで再構成を作成することはできません。この制限は主に2つの相反する要件を形成していると私たちは主張します。正確な予測には大きなコンテキストが必要ですが、正確な予測には高解像度が必要です。現在のハードウェアのメモリ制限により、以前のアプローチでは、入力として低解像度の画像を使用して大きな空間コンテキストをカバーし、結果として精度の低い（または低解像度の）3D推定を生成する傾向があります。エンドツーエンドのトレーニングが可能なマルチレベルアーキテクチャを構築することにより、この制限に対処します。粗いレベルでは、画像全体を低い解像度で観察し、全体論的な推論に焦点を当てます。これは、より高解像度の画像を観察することによって非常に詳細なジオメトリを推定する細かいレベルにコンテキストを提供します。私たちのアプローチは、1k解像度の入力画像を完全に活用することにより、単一画像の人間の形状の再構成に関する既存の最先端技術を大幅に上回っています。

#CVPR2020 にオーラルで採択された、1枚画像から人の高解像フル3D化を実現する研究「PIFuHD」のコードがgithubで公開されました！！！！

GPUが無くても自分で画像をアップロードして3Dモデルが作れるようにGoogle Colabのデモも公開中です！#お家でデジタルヒューマン https://t.co/w3yOwXvEXs pic.twitter.com/480uiD9ulp
— Shunsuke SAITO (@psyth91) June 14, 2020

面白い技術がどんどん出てきますね。
Google Colabで動かせるデモ、みなさんもぜひお試しあれ！
PIFuHD Demo – Colaboratory

使用方法解説動画（英語）

https://www.youtube.com/watch?v=JWqGr5juB_k

リンク

PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization

1枚画像から人のフル3D化してくれる「PIFuHD」触った。ストックフォトの人物を使ってテスト。解像度はちょっと低めで試した。素材のせいかデモほど上手くいってはいないけど足とかかなりいい感じに3D化してくれるね。 pic.twitter.com/z04NU8D1uX
— Hirokazu Yokohara (@Yokohara_h) June 15, 2020