A2J-Transformer: Anchor-to-Joint Transformer Network for 3D Interacting Hand Pose Estimation from a Single RGB Image

要約

タイトル：A2J-Transformer：単一のRGB画像からの3D相互作用する手の姿勢推定のためのアンカー・トゥ・ジョイント・トランスフォーマーネットワーク

要約：

– RGB画像からの3D相互作用する手の姿勢推定は難しいタスクであり、手の自己遮蔽および相互遮蔽、2つの手の間で混乱する似た外観パターン、2Dから3Dへの不適切なジョイント位置マッピングなどが原因である
– 上記の問題を解決するため、A2Jという深度ベースの3D単一手の姿勢推定方法を、相互作用する手の条件下でRGBドメインに拡張することを提案する
– 主なアイデアは、A2JをTransformerの非ローカルエンコード・デコードフレームワークで進化させ、ジョイント間のグローバルな関節徴候をよくキャプチャできるようにすることである
– このために、A2Jは3つの主要利点を持つA2J-Transformerを構築する。第一に、ローカルアンカーポイントのセルフアテンションを構築して、ジョイントの関節徴候をキャプチャするためのグローバル空間的コンテキストアウェアを強化し、遮蔽に抵抗する。第二に、各アンカーポイントは、学習可能なクエリとして扱われ、適応的な特徴学習によるパターンフィッティング能力を容易にする。最後に、アンカーポイントは2Dではなく3D空間に位置し、3D姿勢予測を活用する。
– InterHand 2.6Mでの実験では、A2J-Transformerは状態-of-the-artのモデルフリー性能（2つの手の場合における3.38mm MPJPEの進歩）を達成でき、強力な汎化にも深度ドメインに適用できることが示された。

要約(オリジナル)

3D interacting hand pose estimation from a single RGB image is a challenging task, due to serious self-occlusion and inter-occlusion towards hands, confusing similar appearance patterns between 2 hands, ill-posed joint position mapping from 2D to 3D, etc.. To address these, we propose to extend A2J-the state-of-the-art depth-based 3D single hand pose estimation method-to RGB domain under interacting hand condition. Our key idea is to equip A2J with strong local-global aware ability to well capture interacting hands’ local fine details and global articulated clues among joints jointly. To this end, A2J is evolved under Transformer’s non-local encoding-decoding framework to build A2J-Transformer. It holds 3 main advantages over A2J. First, self-attention across local anchor points is built to make them global spatial context aware to better capture joints’ articulation clues for resisting occlusion. Secondly, each anchor point is regarded as learnable query with adaptive feature learning for facilitating pattern fitting capacity, instead of having the same local representation with the others. Last but not least, anchor point locates in 3D space instead of 2D as in A2J, to leverage 3D pose prediction. Experiments on challenging InterHand 2.6M demonstrate that, A2J-Transformer can achieve state-of-the-art model-free performance (3.38mm MPJPE advancement in 2-hand case) and can also be applied to depth domain with strong generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI