Benchmarking 2D Egocentric Hand Pose Datasets

要約

自己中心的なビデオからの手の姿勢の推定は、人間とコンピューターの相互作用、支援技術、アクティビティ認識、ロボット工学などのさまざまな領域に広範な影響を及ぼし、重要な研究対象となっています。
最新の機械学習モデルの有効性は、トレーニングに使用されるデータの品質に依存します。
したがって、この研究は、2D 手の姿勢推定に適した最先端の自己中心的データセットの分析に専念しています。
我々は、明示されたデータセットの特性の分析とデータ品質の評価だけでなく、最先端の手姿勢推定モデルの評価を通じたデータセットの欠点の特定も含む、データセット評価のための新しいプロトコルを提案します。
私たちの調査では、2D 手の姿勢推定を目的とした多数の自己中心的なデータベースが利用可能であるにもかかわらず、その大部分が特定の使用例に合わせて調整されていることが明らかになりました。
理想的なベンチマーク データセットはまだありません。
ただし、H2O データセットと GANerated Hands データセットが、それぞれ最も有望な実際のデータセットと合成データセットとして浮上しています。

要約(オリジナル)

Hand pose estimation from egocentric video has broad implications across various domains, including human-computer interaction, assistive technologies, activity recognition, and robotics, making it a topic of significant research interest. The efficacy of modern machine learning models depends on the quality of data used for their training. Thus, this work is devoted to the analysis of state-of-the-art egocentric datasets suitable for 2D hand pose estimation. We propose a novel protocol for dataset evaluation, which encompasses not only the analysis of stated dataset characteristics and assessment of data quality, but also the identification of dataset shortcomings through the evaluation of state-of-the-art hand pose estimation models. Our study reveals that despite the availability of numerous egocentric databases intended for 2D hand pose estimation, the majority are tailored for specific use cases. There is no ideal benchmark dataset yet; however, H2O and GANerated Hands datasets emerge as the most promising real and synthetic datasets, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google