3D Hand Pose Estimation in Egocentric Images in the Wild

要約

野生の自己中心的な画像における 3D 手の姿勢推定手法である WildHands を紹介します。
これは、(a) 野生の画像には 3D 手の姿勢の注釈が欠如していること、(b) 手の周りの作物の分析で生じる遠近法の歪みによって形状の曖昧さが生じることにより、困難です。
前者については、ラボ データセットで利用可能な 3D 監視に加えて、セグメンテーション マスクと把握ラベルの形式で実際のデータに対して補助的な監視を使用します。
後者の場合、カメラの視野内のハンドクロップの位置に関する空間的手がかりを提供します。
私たちのアプローチは、ARCTIC リーダーボードで最高の 3D 手のポーズを達成し、EPIC-HandKps データセットの 2D 手のポーズで評価した場合、野生での手のポーズを推定するための人気があり堅牢なアプローチである FrankMocap を 45.3% 上回りました。

要約(オリジナル)

We present WildHands, a method for 3D hand pose estimation in egocentric images in the wild. This is challenging due to (a) lack of 3D hand pose annotations for images in the wild, and (b) a form of perspective distortion-induced shape ambiguity that arises in the analysis of crops around hands. For the former, we use auxiliary supervision on in-the-wild data in the form of segmentation masks & grasp labels in addition to 3D supervision available in lab datasets. For the latter, we provide spatial cues about the location of the hand crop in the camera’s field of view. Our approach achieves the best 3D hand pose on the ARCTIC leaderboard and outperforms FrankMocap, a popular and robust approach for estimating hand pose in the wild, by 45.3% when evaluated on 2D hand pose on our EPIC-HandKps dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google