TAVA: Template-free Animatable Volumetric Actors

要約

座標ベースのボリューム表現は、画像からフォトリアリスティックな仮想アバターを生成する可能性があります。
ただし、仮想アバターは、観察されなかった可能性のある新しいポーズに対しても制御可能である必要があります。
LBSなどの従来の手法は、このような機能を提供します。
それでも、通常は、手作業で設計されたボディテンプレート、3Dスキャンデータ、および限定された外観モデルが必要です。
一方、神経表現は視覚的な詳細を表現するのに強力であることが示されていますが、動的な関節のあるアクターの変形については十分に検討されていません。
本論文では、神経表現に基づいて、テンプレートのないアニメート可能なボリュームアクターを作成する方法であるTAVAを提案します。
マルチビューデータと追跡されたスケルトンのみに依存して、俳優のボリュームモデルを作成します。これは、新しいポーズを指定してテスト時にアニメーション化できます。
TAVAはボディテンプレートを必要としないため、人間だけでなく、動物などの他の生き物にも適用できます。
さらに、TAVAは、正確で密な対応を回復できるように設計されているため、コンテンツの作成や編集のタスクに対応できます。
広範な実験を通じて、提案された方法が、新しいポーズだけでなく、見えないビューにも一般化され、基本的な編集機能を紹介することを示します。

要約(オリジナル)

Coordinate-based volumetric representations have the potential to generate photo-realistic virtual avatars from images. However, virtual avatars also need to be controllable even to a novel pose that may not have been observed. Traditional techniques, such as LBS, provide such a function; yet it usually requires a hand-designed body template, 3D scan data, and limited appearance models. On the other hand, neural representation has been shown to be powerful in representing visual details, but are under explored on deforming dynamic articulated actors. In this paper, we propose TAVA, a method to create T emplate-free Animatable Volumetric Actors, based on neural representations. We rely solely on multi-view data and a tracked skeleton to create a volumetric model of an actor, which can be animated at the test time given novel pose. Since TAVA does not require a body template, it is applicable to humans as well as other creatures such as animals. Furthermore, TAVA is designed such that it can recover accurate dense correspondences, making it amenable to content-creation and editing tasks. Through extensive experiments, we demonstrate that the proposed method generalizes well to novel poses as well as unseen views and showcase basic editing capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google