OccRobNet : Occlusion Robust Network for Accurate 3D Interacting Hand-Object Pose Estimation

要約

閉塞は、3Dハンドポーズを推定する際の挑戦的な問題の1つです。
この問題は、手がオブジェクトまたは両手が関与すると、より顕著になります。
過去の作品では、これらの閉塞地域にあまり注意が払われていません。
しかし、これらの領域には、3Dハンドポーズの推定に不可欠な重要かつ有益な情報が含まれています。
したがって、このホワイトペーパーでは、入力RGB画像から3Dハンドオブジェクトポーズを推定するためのオクルージョンの堅牢で正確な方法を提案します。
私たちの方法には、CNNベースのモデルを使用してハンドジョイントを最初にローカライズし、コンテキスト情報を抽出してそれらを改良することが含まれます。
次に、自己注意変圧器は、特定のジョイントと手のアイデンティティを識別します。
これにより、モデルは、閉塞領域でも関節を検出するのに役立つ特定のジョイントの手の帰属性を識別するのに役立ちます。
さらに、これらの関節を手のアイデンティティを使用して、交差注意メカニズムを使用してポーズを推定するために使用されます。
したがって、閉塞領域のジョイントを識別することにより、得られたネットワークは閉塞に対して堅牢になります。
したがって、このネットワークは、Interhand2.6M、HO3D、およびH $ _2 $ O3Dデータセットで評価されると、最新の結果を達成します。

要約(オリジナル)

Occlusion is one of the challenging issues when estimating 3D hand pose. This problem becomes more prominent when hand interacts with an object or two hands are involved. In the past works, much attention has not been given to these occluded regions. But these regions contain important and beneficial information that is vital for 3D hand pose estimation. Thus, in this paper, we propose an occlusion robust and accurate method for the estimation of 3D hand-object pose from the input RGB image. Our method includes first localising the hand joints using a CNN based model and then refining them by extracting contextual information. The self attention transformer then identifies the specific joints along with the hand identity. This helps the model to identify the hand belongingness of a particular joint which helps to detect the joint even in the occluded region. Further, these joints with hand identity are then used to estimate the pose using cross attention mechanism. Thus, by identifying the joints in the occluded region, the obtained network becomes robust to occlusion. Hence, this network achieves state-of-the-art results when evaluated on the InterHand2.6M, HO3D and H$_2$O3D datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google