Relightable Neural Human Assets from Multi-view Gradient Illuminations

要約

ヒューマン モデリングと再照明は、コンピュータ ビジョンとグラフィックスにおける 2 つの基本的な問題であり、高品質のデータセットが関連研究を大幅に促進します。
ただし、既存の人体データセットのほとんどは、同じ照明下で撮影された多視点の人体画像のみを提供します。
これらはタスクのモデリングには役立ちますが、問題を再解明する場合にはあまり使用されません。
両方の分野の研究を促進するために、本稿では、マルチビューおよびマルチ照明設定の両方でキャプチャされた 2,000 人を超える高品質の人体資産を含む新しい 3D 人体データセットである UltraStage を紹介します。
具体的には、各例に対して、1 つの白色光と 2 つのグラデーション照明で照明された 32 の周囲のビューを提供します。
通常のマルチビュー イメージに加えて、グラデーション イルミネーションは、詳細な表面法線および空間的に変化するマテリアル マップを復元するのに役立ち、さまざまな再ライティング アプリケーションを可能にします。
ニューラル表現における最近の進歩に触発され、各例をさらにニューラル ヒューマン アセットに解釈し、任意の照明条件下で新しいビューの合成を可能にします。
私たちのニューラル ヒューマン アセットが非常に高いキャプチャ パフォーマンスを実現し、顔のしわや布の折り目などの細部を表現できることを示します。
また、単一画像のリライティング タスクで UltraStage を検証し、ニューラル アセットからの仮想リライティング データを使用してニューラル ネットワークをトレーニングし、従来技術に比べて現実的なレンダリングの改善を実証します。
UltraStage は、さまざまな人間のモデリングおよびレンダリング タスクにおける将来の重要な開発を促進するために、コミュニティに公開されます。
データセットは https://miaoing.github.io/RNHA で入手できます。

要約(オリジナル)

Human modeling and relighting are two fundamental problems in computer vision and graphics, where high-quality datasets can largely facilitate related research. However, most existing human datasets only provide multi-view human images captured under the same illumination. Although valuable for modeling tasks, they are not readily used in relighting problems. To promote research in both fields, in this paper, we present UltraStage, a new 3D human dataset that contains more than 2,000 high-quality human assets captured under both multi-view and multi-illumination settings. Specifically, for each example, we provide 32 surrounding views illuminated with one white light and two gradient illuminations. In addition to regular multi-view images, gradient illuminations help recover detailed surface normal and spatially-varying material maps, enabling various relighting applications. Inspired by recent advances in neural representation, we further interpret each example into a neural human asset which allows novel view synthesis under arbitrary lighting conditions. We show our neural human assets can achieve extremely high capture performance and are capable of representing fine details such as facial wrinkles and cloth folds. We also validate UltraStage in single image relighting tasks, training neural networks with virtual relighted data from neural assets and demonstrating realistic rendering improvements over prior arts. UltraStage will be publicly available to the community to stimulate significant future developments in various human modeling and rendering tasks. The dataset is available at https://miaoing.github.io/RNHA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google