Structured 3D Features for Reconstructing Relightable and Animatable Avatars

要約

パラメトリックな統計的ヒューマン メッシュ サーフェスからサンプリングされた高密度の 3D ポイントに、ピクセルで整列された画像の特徴をプールする、新しい暗黙的な 3D 表現に基づくモデルである構造化 3D 機能を紹介します。
3D ポイントにはセマンティクスが関連付けられており、3D 空間内を自由に移動できます。
これにより、体型だけでなく、関心のある人物の最適なカバレッジが可能になり、さらにアクセサリー、髪、ゆったりとした衣服のモデリングに役立ちます.
このため、完全な 3D トランスフォーマー ベースのアテンション フレームワークを提示します。このフレームワークは、制約のないポーズをとっている人物の単一の画像が与えられると、単一のエンドツーエンドの結果として、アルベドと照明分解を使用してアニメーション化可能な 3D 再構成を生成します。
モデル、トレーニング済みの半教師あり、追加の後処理なし。
S3F モデルが、単眼 3D 再構成、アルベドおよびシェーディング推定など、さまざまなタスクで以前の最先端技術を上回っていることを示します。
さらに、提案された方法論は、新しいビューの合成、再照明、および再構成の再ポーズを可能にし、自然に複数の入力画像を処理するように拡張できることを示します (たとえば、人の異なるビュー、または同じビューを異なるポーズで、
ビデオ）。
最後に、3D 仮想試用アプリケーション用のモデルの編集機能を示します。

要約(オリジナル)

We introduce Structured 3D Features, a model based on a novel implicit 3D representation that pools pixel-aligned image features onto dense 3D points sampled from a parametric, statistical human mesh surface. The 3D points have associated semantics and can move freely in 3D space. This allows for optimal coverage of the person of interest, beyond just the body shape, which in turn, additionally helps modeling accessories, hair, and loose clothing. Owing to this, we present a complete 3D transformer-based attention framework which, given a single image of a person in an unconstrained pose, generates an animatable 3D reconstruction with albedo and illumination decomposition, as a result of a single end-to-end model, trained semi-supervised, and with no additional postprocessing. We show that our S3F model surpasses the previous state-of-the-art on various tasks, including monocular 3D reconstruction, as well as albedo and shading estimation. Moreover, we show that the proposed methodology allows novel view synthesis, relighting, and re-posing the reconstruction, and can naturally be extended to handle multiple input images (e.g. different views of a person, or the same view, in different poses, in video). Finally, we demonstrate the editing capabilities of our model for 3D virtual try-on applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google