XHand: Real-time Expressive Hand Avatar

要約

ハンド アバターは、さまざまなデジタル インターフェイスで極めて重要な役割を果たし、ユーザーの没入感を高め、仮想環境内での自然なインタラクションを促進します。
これまでの研究はフォトリアリスティックな手のレンダリングに焦点を当ててきましたが、レンダリングの品質に不可欠な詳細を含む手のジオメトリの再構築にはほとんど注意が払われてきませんでした。
拡張現実とゲームの領域では、オンザフライ レンダリングが不可欠になります。
この目的を達成するために、手の形状、外観、変形をリアルタイムで包括的に生成するように設計された、XHand という名前の表現力豊かな手のアバターを導入します。
きめの細かいハンド メッシュを取得するために、3 つの特徴埋め込みモジュールを利用して、手の変形変位、アルベド、線形ブレンディング スキニング ウェイトをそれぞれ予測します。
きめの細かいメッシュ上でフォトリアリスティックなハンド レンダリングを実現するために、私たちの方法では、メッシュ トポロジーの一貫性と埋め込みモジュールからの潜在コードを活用することにより、メッシュ ベースのニューラル レンダラーを採用します。
トレーニング中に、必要な詳細を効果的に維持し、望ましくないアーティファクトを除去するために、異なるレベルの正則化を組み込むことによって部分認識ラプラス平滑化戦略が提案されます。
InterHand2.6M および DeepHandMesh データセットの実験評価では、さまざまなポーズにわたる手のアニメーションの高忠実度のジオメトリとテクスチャをリアルタイムで復元できる XHand の有効性が実証されています。
結果を再現するために、完全な実装を https://github.com/agnJason/XHand で公開します。

要約(オリジナル)

Hand avatars play a pivotal role in a wide array of digital interfaces, enhancing user immersion and facilitating natural interaction within virtual environments. While previous studies have focused on photo-realistic hand rendering, little attention has been paid to reconstruct the hand geometry with fine details, which is essential to rendering quality. In the realms of extended reality and gaming, on-the-fly rendering becomes imperative. To this end, we introduce an expressive hand avatar, named XHand, that is designed to comprehensively generate hand shape, appearance, and deformations in real-time. To obtain fine-grained hand meshes, we make use of three feature embedding modules to predict hand deformation displacements, albedo, and linear blending skinning weights, respectively. To achieve photo-realistic hand rendering on fine-grained meshes, our method employs a mesh-based neural renderer by leveraging mesh topological consistency and latent codes from embedding modules. During training, a part-aware Laplace smoothing strategy is proposed by incorporating the distinct levels of regularization to effectively maintain the necessary details and eliminate the undesired artifacts. The experimental evaluations on InterHand2.6M and DeepHandMesh datasets demonstrate the efficacy of XHand, which is able to recover high-fidelity geometry and texture for hand animations across diverse poses in real-time. To reproduce our results, we will make the full implementation publicly available at https://github.com/agnJason/XHand.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google