3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal

要約

人間の行動を理解するには、単一のRGB画像から3Dの相互作用する手のポーズを推定することが不可欠です。
2つの相互作用する手の3Dポーズを同時に直接予測する以前のほとんどの作品とは異なり、困難な相互作用する手のポーズ推定タスクを分解し、各手のポーズを個別に推定することを提案します。
このように、片手ポーズ推定システムに関する最新の研究の進歩を利用することは簡単です。
ただし、相互作用するシナリオでの手のポーズの推定は、（1）深刻な手の手の閉塞、および（2）手の均一な外観によって引き起こされるあいまいさのために、非常に困難です。
これらの2つの課題に取り組むために、我々は、手の閉塞除去と伸延器の除去を実行するための新しい手の閉塞除去と除去（HDR）フレームワークを提案します。
また、モデルのトレーニングを容易にし、関連する研究の開発を促進するために、Amodal InterHand Dataset（AIH）と呼ばれる最初の大規模な合成アモーダルハンドデータセットを提案します。
実験は、提案された方法が、以前の最先端の相互作用する手のポーズ推定アプローチを大幅に上回っていることを示しています。
コードとデータはhttps://github.com/MengHao666/HDRで入手できます。

要約(オリジナル)

Estimating 3D interacting hand pose from a single RGB image is essential for understanding human actions. Unlike most previous works that directly predict the 3D poses of two interacting hands simultaneously, we propose to decompose the challenging interacting hand pose estimation task and estimate the pose of each hand separately. In this way, it is straightforward to take advantage of the latest research progress on the single-hand pose estimation system. However, hand pose estimation in interacting scenarios is very challenging, due to (1) severe hand-hand occlusion and (2) ambiguity caused by the homogeneous appearance of hands. To tackle these two challenges, we propose a novel Hand De-occlusion and Removal (HDR) framework to perform hand de-occlusion and distractor removal. We also propose the first large-scale synthetic amodal hand dataset, termed Amodal InterHand Dataset (AIH), to facilitate model training and promote the development of the related research. Experiments show that the proposed method significantly outperforms previous state-of-the-art interacting hand pose estimation approaches. Codes and data are available at https://github.com/MengHao666/HDR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google