ThermoHands: A Benchmark for 3D Hand Pose Estimation from Egocentric Thermal Images

要約

複雑で実世界のシナリオで確実に実行できるエゴセントリック3Dハンドポーズ推定システムの設計は、下流のアプリケーションにとって重要です。
RGBまたはNIR画像を使用した以前のアプローチは、挑戦的な状況での闘争です。RGBメソッドは、照明のバリエーションやハンドウェアのような障害の影響を受けやすくなりますが、NIRのテクニックは日光や他のNIR装備のデバイスからの干渉によって破壊される可能性があります。
これらの制限に対処するために、サーマルイメージベースのエゴセントリック3Dハンドポーズ推定に焦点を当てた最初のベンチマークであるサーモハンドを提示し、これらの条件下で堅牢な性能を達成する熱イメージングの可能性を示しています。
ベンチマークには、自動化されたプロセスを通じて3Dハンドポーズで正確に注釈が付けられた、多様なシナリオの下でハンドオブジェクトとハンドと仮想の相互作用を実行する28人の被験者から収集されたマルチビューとマルチスペクトルデータセットが含まれます。
熱画像における効果的なエゴセントリック3Dハンドポーズ推定のために、デュアルトランスモジュールを使用して、新しいベースラインメソッド、Therformerを導入します。
私たちの実験結果は、TherFormerの主要なパフォーマンスを強調し、有害条件での堅牢な3Dハンドポーズ推定を可能にする際の熱イメージングの有効性を確認します。

要約(オリジナル)

Designing egocentric 3D hand pose estimation systems that can perform reliably in complex, real-world scenarios is crucial for downstream applications. Previous approaches using RGB or NIR imagery struggle in challenging conditions: RGB methods are susceptible to lighting variations and obstructions like handwear, while NIR techniques can be disrupted by sunlight or interference from other NIR-equipped devices. To address these limitations, we present ThermoHands, the first benchmark focused on thermal image-based egocentric 3D hand pose estimation, demonstrating the potential of thermal imaging to achieve robust performance under these conditions. The benchmark includes a multi-view and multi-spectral dataset collected from 28 subjects performing hand-object and hand-virtual interactions under diverse scenarios, accurately annotated with 3D hand poses through an automated process. We introduce a new baseline method, TherFormer, utilizing dual transformer modules for effective egocentric 3D hand pose estimation in thermal imagery. Our experimental results highlight TherFormer’s leading performance and affirm thermal imaging’s effectiveness in enabling robust 3D hand pose estimation in adverse conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google