ThermoHands: A Benchmark for 3D Hand Pose Estimation from Egocentric Thermal Images

要約

複雑な現実世界のシナリオで確実に実行できる自己中心的な 3D 手の姿勢推定システムを設計することは、下流のアプリケーションにとって非常に重要です。
RGB または NIR 画像を使用したこれまでのアプローチは、困難な状況では困難です。RGB 手法は照明の変化や手持ち品などの障害物の影響を受けやすいのに対し、NIR 手法は太陽光や他の NIR 搭載デバイスからの干渉によって中断される可能性があります。
これらの制限に対処するために、熱画像ベースの自己中心的な 3D 手の姿勢推定に焦点を当てた最初のベンチマークである ThermoHands を紹介し、これらの条件下で堅牢なパフォーマンスを達成する熱画像の可能性を実証します。
このベンチマークには、さまざまなシナリオの下で手とオブジェクトおよび手と仮想のインタラクションを実行する 28 人の被験者から収集されたマルチビューおよびマルチスペクトル データセットが含まれており、自動化されたプロセスを通じて 3D 手のポーズで正確に注釈が付けられています。
デュアルトランスフォーマーモジュールを利用して、熱画像における効果的な自己中心的な 3D 手の姿勢推定を行う、新しいベースライン手法 TherFormer を導入します。
私たちの実験結果は、TherFormer の優れたパフォーマンスを強調し、悪条件下で堅牢な 3D 手の姿勢推定を可能にするサーマル イメージングの有効性を裏付けています。

要約(オリジナル)

Designing egocentric 3D hand pose estimation systems that can perform reliably in complex, real-world scenarios is crucial for downstream applications. Previous approaches using RGB or NIR imagery struggle in challenging conditions: RGB methods are susceptible to lighting variations and obstructions like handwear, while NIR techniques can be disrupted by sunlight or interference from other NIR-equipped devices. To address these limitations, we present ThermoHands, the first benchmark focused on thermal image-based egocentric 3D hand pose estimation, demonstrating the potential of thermal imaging to achieve robust performance under these conditions. The benchmark includes a multi-view and multi-spectral dataset collected from 28 subjects performing hand-object and hand-virtual interactions under diverse scenarios, accurately annotated with 3D hand poses through an automated process. We introduce a new baseline method, TherFormer, utilizing dual transformer modules for effective egocentric 3D hand pose estimation in thermal imagery. Our experimental results highlight TherFormer’s leading performance and affirm thermal imaging’s effectiveness in enabling robust 3D hand pose estimation in adverse conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google