ThermoHands: A Benchmark for 3D Hand Pose Estimation from Egocentric Thermal Images

要約

この研究では、変化する照明条件や障害物 (ハンドウェアなど) などの課題を克服することを目的とした、熱画像ベースの自己中心的な 3D 手の姿勢推定の新しいベンチマークである ThermoHands を紹介します。
このベンチマークには、さまざまなシナリオの下で手とオブジェクトおよび手と仮想のインタラクションを実行する 28 人の被験者から収集されたマルチビューおよびマルチスペクトルのデータセットが含まれており、自動化されたプロセスを通じて 3D 手のポーズで正確に注釈が付けられています。
デュアルトランスフォーマーモジュールを利用して、熱画像における効果的な自己中心的な 3D 手の姿勢推定を行う、新しいベースライン手法 TherFormer を導入します。
私たちの実験結果は、TherFormer の優れたパフォーマンスを強調し、悪条件下で堅牢な 3D 手の姿勢推定を可能にするサーマル イメージングの有効性を裏付けています。

要約(オリジナル)

In this work, we present ThermoHands, a new benchmark for thermal image-based egocentric 3D hand pose estimation, aimed at overcoming challenges like varying lighting conditions and obstructions (e.g., handwear). The benchmark includes a multi-view and multi-spectral dataset collected from 28 subjects performing hand-object and hand-virtual interactions under diverse scenarios, accurately annotated with 3D hand poses through an automated process. We introduce a new baseline method, TherFormer, utilizing dual transformer modules for effective egocentric 3D hand pose estimation in thermal imagery. Our experimental results highlight TherFormer’s leading performance and affirm thermal imaging’s effectiveness in enabling robust 3D hand pose estimation in adverse conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google