Hand Pose Estimation with Mems-Ultrasonic Sensors

要約

ハンド トラッキングは人間とコンピューターの対話の重要な側面であり、拡張現実デバイスで幅広い用途に使用できます。
ただし、現在のハンド モーション キャプチャ方法にはさまざまな制限があります。
たとえば、視覚ベースの手姿勢推定は自己閉塞や照明条件の変化の影響を受けやすい一方、IMU ベースの追跡グローブは大きなドリフトを経験し、外部磁場干渉に耐性がありません。
これらの問題に対処するために、指に取り付けられたいくつかの MEMS 超音波センサーを利用してセンサー間の距離行列を測定する、新規で低コストのハンド追跡グローブを提案します。
次に、軽量のディープ ネットワークが距離行列から手のポーズを再構築します。
私たちの実験結果は、このアプローチが正確で、サイズに依存せず、外部干渉に対して堅牢であることを示しています。
また、センサーの選択、センサー構成、回路図、モデル アーキテクチャの設計ロジックも示します。

要約(オリジナル)

Hand tracking is an important aspect of human-computer interaction and has a wide range of applications in extended reality devices. However, current hand motion capture methods suffer from various limitations. For instance, visual-based hand pose estimation is susceptible to self-occlusion and changes in lighting conditions, while IMU-based tracking gloves experience significant drift and are not resistant to external magnetic field interference. To address these issues, we propose a novel and low-cost hand-tracking glove that utilizes several MEMS-ultrasonic sensors attached to the fingers, to measure the distance matrix among the sensors. Our lightweight deep network then reconstructs the hand pose from the distance matrix. Our experimental results demonstrate that this approach is both accurate, size-agnostic, and robust to external interference. We also show the design logic for the sensor selection, sensor configurations, circuit diagram, as well as model architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google