ACR: Attention Collaboration-based Regressor for Arbitrary Two-Hand Reconstruction

要約

単眼 RGB 画像から 2 つの手を再構築することは、頻繁なオクルージョンと相互の混乱のために困難です。
既存の方法は、主に絡み合った表現を学習して、相互作用する 2 つの手をエンコードします。これらは、切り捨てられた手、別々の手、または外部オクルージョンなどの相互作用の障害に対して非常に脆弱です。
この論文では、任意のシナリオで手を再構築する最初の試みを行う ACR (Attention Collaboration-based Regressor) を紹介します。
これを達成するために、ACR は特徴抽出に中心と部分に基づく注意を活用することで、手と部分の間の相互依存性を明示的に軽減します。
ただし、相互依存を減らすことは、相互作用する手の再構築に関する相互の推論を弱めながら、入力の制約を解放するのに役立ちます。
このように、中心的注意に基づいて、ACR は相互作用する手をより適切に処理するクロスハンドの事前学習も行います。
さまざまなタイプの手の再構成データセットでこの方法を評価します。
私たちの方法は、InterHand2.6M データセットでの最高の相互作用手アプローチを大幅に上回り、FreiHand データセットでの最先端の片手方法と同等のパフォーマンスをもたらします。
野生および手のオブジェクトの相互作用データセットと Web 画像/ビデオに関するより定性的な結果は、任意の手の再構築に対する私たちのアプローチの有効性をさらに示しています。
コードは https://github.com/ZhengdiYu/Arbitrary-Hands-3D-Reconstruction で入手できます。

要約(オリジナル)

Reconstructing two hands from monocular RGB images is challenging due to frequent occlusion and mutual confusion. Existing methods mainly learn an entangled representation to encode two interacting hands, which are incredibly fragile to impaired interaction, such as truncated hands, separate hands, or external occlusion. This paper presents ACR (Attention Collaboration-based Regressor), which makes the first attempt to reconstruct hands in arbitrary scenarios. To achieve this, ACR explicitly mitigates interdependencies between hands and between parts by leveraging center and part-based attention for feature extraction. However, reducing interdependence helps release the input constraint while weakening the mutual reasoning about reconstructing the interacting hands. Thus, based on center attention, ACR also learns cross-hand prior that handle the interacting hands better. We evaluate our method on various types of hand reconstruction datasets. Our method significantly outperforms the best interacting-hand approaches on the InterHand2.6M dataset while yielding comparable performance with the state-of-the-art single-hand methods on the FreiHand dataset. More qualitative results on in-the-wild and hand-object interaction datasets and web images/videos further demonstrate the effectiveness of our approach for arbitrary hand reconstruction. Our code is available at https://github.com/ZhengdiYu/Arbitrary-Hands-3D-Reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google