Learning Interaction-aware 3D Gaussian Splatting for One-shot Hand Avatars

要約

この論文では、3D ガウス スプラッティング (GS) と単一画像入力で手を対話するためのアニメーション可能なアバターを作成することを提案します。
単一の被験者向けに設計された既存の GS ベースの手法では、限られた入力ビュー、さまざまな手のポーズ、およびオクルージョンにより、満足のいく結果が得られないことがよくあります。
これらの課題に対処するために、被験者間のハンド事前分布を活用し、相互作用する領域の 3D ガウスを洗練する、新しい 2 段階の相互作用対応 GS フレームワークを導入します。
特に、手のバリエーションを処理するために、手の 3D プレゼンテーションを最適化ベースのアイデンティティ マップと学習ベースの潜在的な幾何学的特徴とニューラル テクスチャ マップに分解します。
学習ベースの特徴はトレーニングされたネットワークによってキャプチャされ、ポーズ、形状、テクスチャの信頼できる事前分布を提供します。また、最適化ベースのアイデンティティ マップにより、分布外のハンドの効率的なワンショット フィッティングが可能になります。
さらに、インタラクションを認識した注意モジュールと自己適応ガウス改良モジュールを考案します。
これらのモジュールは、既存の GS ベースの手法の制限を克服し、手内および手の相互作用のある領域での画像レンダリングの品質を向上させます。
私たちが提案した方法は、大規模な InterHand2.6M データセットでの広範な実験によって検証され、画質における最先端のパフォーマンスを大幅に向上させます。
プロジェクト ページ: \url{https://github.com/XuanHuang0/GuassianHand}。

要約(オリジナル)

In this paper, we propose to create animatable avatars for interacting hands with 3D Gaussian Splatting (GS) and single-image inputs. Existing GS-based methods designed for single subjects often yield unsatisfactory results due to limited input views, various hand poses, and occlusions. To address these challenges, we introduce a novel two-stage interaction-aware GS framework that exploits cross-subject hand priors and refines 3D Gaussians in interacting areas. Particularly, to handle hand variations, we disentangle the 3D presentation of hands into optimization-based identity maps and learning-based latent geometric features and neural texture maps. Learning-based features are captured by trained networks to provide reliable priors for poses, shapes, and textures, while optimization-based identity maps enable efficient one-shot fitting of out-of-distribution hands. Furthermore, we devise an interaction-aware attention module and a self-adaptive Gaussian refinement module. These modules enhance image rendering quality in areas with intra- and inter-hand interactions, overcoming the limitations of existing GS-based methods. Our proposed method is validated via extensive experiments on the large-scale InterHand2.6M dataset, and it significantly improves the state-of-the-art performance in image quality. Project Page: \url{https://github.com/XuanHuang0/GuassianHand}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google