Identity-Aware Hand Mesh Estimation and Personalization from RGB Images

要約

単眼 RGB 画像から 3D ハンド メッシュを再構築することは、AR/VR の分野で非常に大きな可能性を秘めているため、ますます注目を集めています。
最先端の方法のほとんどは、匿名でこのタスクに取り組もうとしています。
具体的には、継続的な記録セッションでユーザーが変更されていない実際のアプリケーションで実際に利用できる場合でも、サブジェクトの ID は無視されます。
この論文では、被験者の固有の形状パラメータによって表されるアイデンティティ情報を組み込むことができる、アイデンティティを意識したハンドメッシュ推定モデルを提案します。
提案されたアイデンティティ認識モデルを、サブジェクトを匿名で扱うベースラインと比較することにより、アイデンティティ情報の重要性を示します。
さらに、被験者が見えないユースケースを処理するために、被験者のラベル付けされていない少数のRGB画像のみを使用して固有の形状パラメータを調整するための新しいパーソナライズパイプラインを提案します。
2 つの大規模な公開データセットでの実験により、提案された方法の最先端のパフォーマンスが検証されます。

要約(オリジナル)

Reconstructing 3D hand meshes from monocular RGB images has attracted increasing amount of attention due to its enormous potential applications in the field of AR/VR. Most state-of-the-art methods attempt to tackle this task in an anonymous manner. Specifically, the identity of the subject is ignored even though it is practically available in real applications where the user is unchanged in a continuous recording session. In this paper, we propose an identity-aware hand mesh estimation model, which can incorporate the identity information represented by the intrinsic shape parameters of the subject. We demonstrate the importance of the identity information by comparing the proposed identity-aware model to a baseline which treats subject anonymously. Furthermore, to handle the use case where the test subject is unseen, we propose a novel personalization pipeline to calibrate the intrinsic shape parameters using only a few unlabeled RGB images of the subject. Experiments on two large scale public datasets validate the state-of-the-art performance of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google