Ego2HandsPose: A Dataset for Egocentric Two-hand 3D Global Pose Estimation

要約

グローバル座標系でのカラーベースの両手3Dポーズ推定は、多くのアプリケーションで不可欠です。
ただし、このタスク専用のデータセットはほとんどなく、ラボ以外の環境での推定をサポートする既存のデータセットはありません。
これは主に、3D手のポーズの注釈に必要な高度なデータ収集プロセスに起因します。これにより、実際の推定に必要なレベルの視覚的多様性を備えたインスタンスを取得することも困難になります。
この目標に向かって進んで、大規模なデータセットEgo2Handsが最近提案され、野生での両手のセグメンテーションと検出のタスクに対処しました。
提案された構成ベースのデータ生成手法は、目に見えないドメインによく一般化する質、量、多様性を備えた両手インスタンスを作成できます。
この作業では、Ego2Handsの拡張機能であるEgo2HandsPoseを紹介します。これは、3D手のポーズ注釈を含み、目に見えないドメインでカラーベースの両手3D追跡を可能にする最初のデータセットです。
この目的のために、1）単一画像を使用した3D手のポーズ注釈、2）2Dから3Dの手のポーズへの自動変換、および3）時間的一貫性のある正確な両手追跡を可能にする一連のパラメトリックフィッティングアルゴリズムを開発します。
多段階パイプラインの増分定量分析を提供し、データセットでのトレーニングが、自己中心的な両手グローバル3Dポーズ推定のタスクで他のデータセットを大幅に上回る最先端の結果を達成することを示します。

要約(オリジナル)

Color-based two-hand 3D pose estimation in the global coordinate system is essential in many applications. However, there are very few datasets dedicated to this task and no existing dataset supports estimation in a non-laboratory environment. This is largely attributed to the sophisticated data collection process required for 3D hand pose annotations, which also leads to difficulty in obtaining instances with the level of visual diversity needed for estimation in the wild. Progressing towards this goal, a large-scale dataset Ego2Hands was recently proposed to address the task of two-hand segmentation and detection in the wild. The proposed composition-based data generation technique can create two-hand instances with quality, quantity and diversity that generalize well to unseen domains. In this work, we present Ego2HandsPose, an extension of Ego2Hands that contains 3D hand pose annotation and is the first dataset that enables color-based two-hand 3D tracking in unseen domains. To this end, we develop a set of parametric fitting algorithms to enable 1) 3D hand pose annotation using a single image, 2) automatic conversion from 2D to 3D hand poses and 3) accurate two-hand tracking with temporal consistency. We provide incremental quantitative analysis on the multi-stage pipeline and show that training on our dataset achieves state-of-the-art results that significantly outperforms other datasets for the task of egocentric two-hand global 3D pose estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google