Modular Soft Wearable Glove for Real-Time Gesture Recognition and Dynamic 3D Shape Reconstruction

要約

ヒューマンコンピューターの相互作用（HCI）に対する需要の増加に伴い、柔軟なウェアラブルグローブは、仮想現実、医療リハビリテーション、および産業自動化の有望なソリューションとして浮上しています。
ただし、現在のテクノロジーには、感度が不十分で耐久性が限られているなどの問題があり、幅広いアプリケーションを妨げています。
このペーパーでは、人間の手の解剖学に合わせたセンサーモジュールに統合された、ライン型電極と液体金属（EGAIN）に基づいた、非常に敏感でモジュール型の柔軟な容量性センサーを紹介します。
提案されたシステムは独立して各指の関節からの曲げ情報をキャプチャしますが、隣接する指の間の追加の測定により、指間間隔の微妙なバリエーションの記録が可能になります。
この設計により、ポイントクラウドを使用した複雑な動きの正確なジェスチャー認識と動的な手の形態学的再構築を可能にします。
実験結果は、畳み込みニューラルネットワーク（CNN）と多層パーセプトロン（MLP）に基づいた分類器が、30のジェスチャーで99.15％の精度を達成することを示しています。
一方、トランスベースのディープニューラルネットワーク（DNN）は、平均距離（AD）2.076 \ PM3.231 mmで動的な手の形を正確に再構築し、個々のキーポイントでの再構築精度がSOTAベンチマークを9.7％から64.9％上回ります。
提案されたグローブは、ジェスチャー認識と手の再構築において優れた精度、堅牢性、スケーラビリティを示しており、次世代HCIシステムの有望なソリューションとなっています。

要約(オリジナル)

With the increasing demand for human-computer interaction (HCI), flexible wearable gloves have emerged as a promising solution in virtual reality, medical rehabilitation, and industrial automation. However, the current technology still has problems like insufficient sensitivity and limited durability, which hinder its wide application. This paper presents a highly sensitive, modular, and flexible capacitive sensor based on line-shaped electrodes and liquid metal (EGaIn), integrated into a sensor module tailored to the human hand’s anatomy. The proposed system independently captures bending information from each finger joint, while additional measurements between adjacent fingers enable the recording of subtle variations in inter-finger spacing. This design enables accurate gesture recognition and dynamic hand morphological reconstruction of complex movements using point clouds. Experimental results demonstrate that our classifier based on Convolution Neural Network (CNN) and Multilayer Perceptron (MLP) achieves an accuracy of 99.15% across 30 gestures. Meanwhile, a transformer-based Deep Neural Network (DNN) accurately reconstructs dynamic hand shapes with an Average Distance (AD) of 2.076\pm3.231 mm, with the reconstruction accuracy at individual key points surpassing SOTA benchmarks by 9.7% to 64.9%. The proposed glove shows excellent accuracy, robustness and scalability in gesture recognition and hand reconstruction, making it a promising solution for next-generation HCI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google