Authentic Hand Avatar from a Phone Scan via Universal Hand Model

要約

AR/VR での没入型体験には、手の形状やテクスチャなど、あらゆる識別可能な情報を備えた本物の 3D ハンド アバターが必要です。
この論文では、ユニバーサル ハンド モデル (UHM) を紹介します。このモデルは、1) 任意の ID (ID) の高忠実度 3D ハンド メッシュを普遍的に表現でき、2) 本物の手の短い電話スキャンで各人に適応できます。
アバター。
効果的なユニバーサルハンドモデリングを実現するために、以前の 3D ハンドモデルではトラッキングとモデリングが別々に実行されていましたが、トラッキングとモデリングを同時に実行します。
従来の別個のパイプラインでは、トラッキング段階で蓄積されたエラーが発生し、モデリング段階では回復できません。
一方、私たちのものは、全体的なパイプラインがはるかに簡潔であるにもかかわらず、累積エラーに悩まされることはありません。
さらに、追跡およびモデリング中の皮膚の滑りに対処するための新しい画像マッチング損失関数を導入しますが、既存の研究ではこれにあまり焦点を当てていませんでした。
最後に、UHM から学習した事前分布を使用して、本物の手のアバターを求める各人の短い電話スキャンに UHM を効果的に適応させます。

要約(オリジナル)

The authentic 3D hand avatar with every identifiable information, such as hand shapes and textures, is necessary for immersive experiences in AR/VR. In this paper, we present a universal hand model (UHM), which 1) can universally represent high-fidelity 3D hand meshes of arbitrary identities (IDs) and 2) can be adapted to each person with a short phone scan for the authentic hand avatar. For effective universal hand modeling, we perform tracking and modeling at the same time, while previous 3D hand models perform them separately. The conventional separate pipeline suffers from the accumulated errors from the tracking stage, which cannot be recovered in the modeling stage. On the other hand, ours does not suffer from the accumulated errors while having a much more concise overall pipeline. We additionally introduce a novel image matching loss function to address a skin sliding during the tracking and modeling, while existing works have not focused on it much. Finally, using learned priors from our UHM, we effectively adapt our UHM to each person’s short phone scan for the authentic hand avatar.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google