Animatable Virtual Humans: Learning pose-dependent human representations in UV space for interactive performance synthesis

要約

私たちは、3D アプリケーションでの非常に現実的なリアルタイム アニメーションとレンダリングのための仮想人間の新しい表現を提案します。
最先端のマルチビュービデオ再構成から得られた高精度の動的メッシュ シーケンスから、ポーズに依存する外観とジオメトリを学習します。
メッシュ シーケンスからポーズに依存する外観とジオメトリを学習するには、ネットワークが人体の複雑な形状と関節運動を学習する必要があるため、大きな課題が生じます。
ただし、SMPL のような統計的身体モデルは、より効率的で的を絞った学習を可能にし、姿勢依存性を定義できるように検索空間の次元を制限するために活用する貴重な先験的な知識を提供します。
絶対的な姿勢依存ジオメトリを直接学習する代わりに、観察されたジオメトリと適合した SMPL モデルの違いを学習します。
これにより、SMPL モデルの一貫した UV 空間でポーズ依存の外観とジオメトリの両方をエンコードできるようになります。
このアプローチにより、高レベルのリアリズムが保証されるだけでなく、リアルタイム シナリオでの仮想人間の合理化された処理とレンダリングも容易になります。

要約(オリジナル)

We propose a novel representation of virtual humans for highly realistic real-time animation and rendering in 3D applications. We learn pose dependent appearance and geometry from highly accurate dynamic mesh sequences obtained from state-of-the-art multiview-video reconstruction. Learning pose-dependent appearance and geometry from mesh sequences poses significant challenges, as it requires the network to learn the intricate shape and articulated motion of a human body. However, statistical body models like SMPL provide valuable a-priori knowledge which we leverage in order to constrain the dimension of the search space enabling more efficient and targeted learning and define pose-dependency. Instead of directly learning absolute pose-dependent geometry, we learn the difference between the observed geometry and the fitted SMPL model. This allows us to encode both pose-dependent appearance and geometry in the consistent UV space of the SMPL model. This approach not only ensures a high level of realism but also facilitates streamlined processing and rendering of virtual humans in real-time scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google