Efficient Annotation and Learning for 3D Hand Pose Estimation: A Survey

要約

本サーベイでは，効率的なアノテーションと学習の観点から，3次元ハンドポーズ推定に関する包括的な分析を行う．特に、限られたアノテーションデータを用いた3Dハンドポーズのアノテーションと学習方法に関する最近のアプローチについて研究する。3Dハンドポーズ推定において、3Dハンドポーズのアノテーションを収集することは、ハンドポーズ推定器の開発や、映像理解、AR/VR、ロボティクスなどの応用において重要なステップである。しかし、アノテーションされた3Dハンドポーズの取得は、3D情報へのアクセスの難しさやオクルージョンの影響などで煩雑な作業となっています。そこで、近年の研究者がこの問題にどのように取り組んでいるかを明らかにすることを目的として、手動、合成モデルベース、ハンドセンサーベース、計算機によるアプローチに分類されるアノテーション手法を調査しました。これらのアノテーション手法は必ずしも大規模に利用できるものではないため、十分なアノテーションデータがない場合の3次元手の姿勢の学習方法として、自己教師付き事前学習、半教師付き学習、領域適応を検討した。これらの効率的なアノテーションと学習の分析に基づき、さらにこの分野の限界と将来可能な方向性について議論する。

要約(オリジナル)

In this survey, we present comprehensive analysis of 3D hand pose estimation from the perspective of efficient annotation and learning. In particular, we study recent approaches for 3D hand pose annotation and learning methods with limited annotated data. In 3D hand pose estimation, collecting 3D hand pose annotation is a key step in developing hand pose estimators and their applications, such as video understanding, AR/VR, and robotics. However, acquiring annotated 3D hand poses is cumbersome, e.g., due to the difficulty of accessing 3D information and occlusion. Motivated by elucidating how recent works address the annotation issue, we investigated annotation methods classified as manual, synthetic-model-based, hand-sensor-based, and computational approaches. Since these annotation methods are not always available on a large scale, we examined methods of learning 3D hand poses when we do not have enough annotated data, namely self-supervised pre-training, semi-supervised learning, and domain adaptation. Based on the analysis of these efficient annotation and learning, we further discuss limitations and possible future directions of this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL