Im2Hands: Learning Attentive Implicit Representation of Interacting Two-Hand Shapes

要約

Implicit Two Hands (Im2Hands) は、相互作用する 2 つの手の最初のニューラル暗黙表現です。
パラメトリックな手のモデルおよび/または低解像度のメッシュに依存する両手の再構築に関する既存の方法とは異なり、Im2Hands は、手と手および手と画像の一貫性が高い両手のきめの細かいジオメトリを生成できます。
形状の複雑さと 2 つの手の相互作用のコンテキストを処理するために、Im2Hands は、(1) 初期占有推定と (2) を担当する 2 つの新しい注意ベースのモジュールによって、RGB 画像と粗い 3D キーポイントに基づいて調整された 2 つの手の占有ボリュームをモデル化します。
それぞれ、コンテキストに応じた占有率の調整。
Im2Hands はまず、クエリ イメージ アテンションを使用して、各手用に設計された標準空間で、手ごとのニューラル アーティキュレートされた占有率を学習します。
次に、クエリ アンカー アテンションを使用して、2 つの手の形の間の一貫性を高めるために、提起された空間内の最初の両手の占有率を調整します。
さらに、オプションのキーポイント調整モジュールを導入して、単一画像再構成シナリオで予測された手のキーポイントから堅牢な両手形状推定を有効にします。
私たちは、最先端の結果を達成している関連する方法と比較して、両手の再構成に対する Im2Hands の有効性を実験的に示しています。
私たちのコードは、https://github.com/jyunlee/Im2Hands で公開されています。

要約(オリジナル)

We present Implicit Two Hands (Im2Hands), the first neural implicit representation of two interacting hands. Unlike existing methods on two-hand reconstruction that rely on a parametric hand model and/or low-resolution meshes, Im2Hands can produce fine-grained geometry of two hands with high hand-to-hand and hand-to-image coherency. To handle the shape complexity and interaction context between two hands, Im2Hands models the occupancy volume of two hands – conditioned on an RGB image and coarse 3D keypoints – by two novel attention-based modules responsible for (1) initial occupancy estimation and (2) context-aware occupancy refinement, respectively. Im2Hands first learns per-hand neural articulated occupancy in the canonical space designed for each hand using query-image attention. It then refines the initial two-hand occupancy in the posed space to enhance the coherency between the two hand shapes using query-anchor attention. In addition, we introduce an optional keypoint refinement module to enable robust two-hand shape estimation from predicted hand keypoints in a single-image reconstruction scenario. We experimentally demonstrate the effectiveness of Im2Hands on two-hand reconstruction in comparison to related methods, where ours achieves state-of-the-art results. Our code is publicly available at https://github.com/jyunlee/Im2Hands.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google