要約
Apple Vision Pro などの最近の高度な仮想現実 (VR) ヘッドセットは、下向きのカメラを採用して手のジェスチャーや入力を検出するため、ユーザーは VR インタラクションで大きな利便性を得ることができます。
ただし、これらの底面カメラは不便な場合があり、体のプライベートな部分や個人的な環境などの機密情報が意図せず公開される危険性があります。
これらの問題を軽減するために、EgoHand を導入します。
このシステムは、ミリ波レーダーとハンド ジェスチャ認識用の IMU を統合することで代替ソリューションを提供し、それによりプライバシー保護を強化するジェスチャ インタラクションの追加オプションをユーザーに提供します。
手のジェスチャーを正確に認識するために、2 段階のスケルトンベースのジェスチャー認識スキームを考案しました。
最初の段階では、新しいエンドツーエンドの Transformer アーキテクチャを使用して手の関節の座標を推定します。
その後、これらの推定された関節座標はジェスチャ認識に利用されます。
10人の被験者を対象とした広範な実験により、EgoHandが90.8%の精度で手のジェスチャーを検出できることが示されました。
さらに、EgoHand は、さまざまなユーザー、利き手、体の姿勢、シーンなど、さまざまなクロスドメイン テストにわたって堅牢なパフォーマンスを実証します。
要約(オリジナル)
Recent advanced Virtual Reality (VR) headsets, such as the Apple Vision Pro, employ bottom-facing cameras to detect hand gestures and inputs, which offers users significant convenience in VR interactions. However, these bottom-facing cameras can sometimes be inconvenient and pose a risk of unintentionally exposing sensitive information, such as private body parts or personal surroundings. To mitigate these issues, we introduce EgoHand. This system provides an alternative solution by integrating millimeter-wave radar and IMUs for hand gesture recognition, thereby offering users an additional option for gesture interaction that enhances privacy protection. To accurately recognize hand gestures, we devise a two-stage skeleton-based gesture recognition scheme. In the first stage, a novel end-to-end Transformer architecture is employed to estimate the coordinates of hand joints. Subsequently, these estimated joint coordinates are utilized for gesture recognition. Extensive experiments involving 10 subjects show that EgoHand can detect hand gestures with 90.8% accuracy. Furthermore, EgoHand demonstrates robust performance across a variety of cross-domain tests, including different users, dominant hands, body postures, and scenes.
arxiv情報
| 著者 | Yizhe Lv,Tingting Zhang,Yunpeng Song,Han Ding,Jinsong Han,Fei Wang |
| 発行日 | 2025-01-23 16:25:08+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google