InteractAvatar: Modeling Hand-Face Interaction in Photorealistic Avatars with Deformable Gaussians

要約

デジタルアバターのコミュニティからの関心が高まっているため、コミュニケーションにおける表現やジェスチャーの重要性と相まって、自然なアバターの行動をモデル化することで、テレコンフェンス、ゲーム、AR/VRなどの多くの業界で重要な課題となっています。
人間の手は、環境と相互作用するための主要なツールであり、現実的な人間の行動モデリングに不可欠ですが、既存の3Dハンドとヘッドアバターモデルは、手と顔の間などの手体相互作用の重要な側面を見落としていることがよくあります。
Dynamic Handと非剛性のハンドフェイスの相互作用のフォトリアリックな外観を忠実にキャプチャする最初のモデルであるInterateTavatarを提示します。
テンプレートモデルと3Dガウススプラッティング、および動的洗練モジュールを組み合わせた、私たちの新しい動的ガウスハンドモデルは、ポーズ依存の変化をキャプチャします。
アーティキュレーション中に発生する細かいしわと複雑な影。
重要なことに、私たちのハンドフェイスインタラクションモジュールは、一般的なジェスチャーの根底にある微妙なジオメトリと外観のダイナミクスをモデル化しています。
新しいビューの統合、自己再現、および相互同一性の再現の実験を通じて、InteractTavatarがモノクラーまたはマルチビューのビデオからの手と握力の相互作用を高フィディリティの詳細で再構築し、新しいポーズでアニメーション化できることを実証します。

要約(オリジナル)

With the rising interest from the community in digital avatars coupled with the importance of expressions and gestures in communication, modeling natural avatar behavior remains an important challenge across many industries such as teleconferencing, gaming, and AR/VR. Human hands are the primary tool for interacting with the environment and essential for realistic human behavior modeling, yet existing 3D hand and head avatar models often overlook the crucial aspect of hand-body interactions, such as between hand and face. We present InteracttAvatar, the first model to faithfully capture the photorealistic appearance of dynamic hand and non-rigid hand-face interactions. Our novel Dynamic Gaussian Hand model, combining template model and 3D Gaussian Splatting as well as a dynamic refinement module, captures pose-dependent change, e.g. the fine wrinkles and complex shadows that occur during articulation. Importantly, our hand-face interaction module models the subtle geometry and appearance dynamics that underlie common gestures. Through experiments of novel view synthesis, self reenactment and cross-identity reenactment, we demonstrate that InteracttAvatar can reconstruct hand and hand-face interactions from monocular or multiview videos with high-fidelity details and be animated with novel poses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google