Capturing complex hand movements and object interactions using machine learning-powered stretchable smart textile gloves

要約

器用な手の動きとインタラクションの正確なリアルタイムトラッキングは、ヒューマンコンピュータインタラクション、メタバース、ロボット工学、遠隔医療などにおいて多くの応用がある。現実的な手の動きのキャプチャは、関節や自由度が多いため困難です。ここでは、ヘリカルセンサーヤーンと慣性計測ユニットを組み込んだ、伸縮可能で洗濯可能なスマート手袋を用いた、関節を持つ手と指の動きの正確で動的なトラッキングについて報告する。このセンサー糸は、0.005%から155%のひずみに反応する高いダイナミックレンジを持ち、長時間の使用や洗濯サイクルにおいても安定性を示す。多段階機械学習を使用し、被験者内および被験者間のクロスバリデーションにおける平均関節角度推定二乗平均誤差はそれぞれ1.21度および1.45度であり、オクルージョンや視野制限のない高価なモーションキャプチャカメラの精度に匹敵する。ノイズやセンサーのばらつきに対するロバスト性を高めるデータ補強技術を報告する。オブジェクトとのインタラクション中の器用な手の動きの正確な追跡を実証し、模擬紙キーボードへの正確なタイピング、アメリカ手話に適応した複雑な動的・静的ジェスチャの認識、オブジェクト識別などの新しい応用の道を開く。

要約(オリジナル)

Accurate real-time tracking of dexterous hand movements and interactions has numerous applications in human-computer interaction, metaverse, robotics, and tele-health. Capturing realistic hand movements is challenging because of the large number of articulations and degrees of freedom. Here, we report accurate and dynamic tracking of articulated hand and finger movements using stretchable, washable smart gloves with embedded helical sensor yarns and inertial measurement units. The sensor yarns have a high dynamic range, responding to low 0.005 % to high 155 % strains, and show stability during extensive use and washing cycles. We use multi-stage machine learning to report average joint angle estimation root mean square errors of 1.21 and 1.45 degrees for intra- and inter-subjects cross-validation, respectively, matching accuracy of costly motion capture cameras without occlusion or field of view limitations. We report a data augmentation technique that enhances robustness to noise and variations of sensors. We demonstrate accurate tracking of dexterous hand movements during object interactions, opening new avenues of applications including accurate typing on a mock paper keyboard, recognition of complex dynamic and static gestures adapted from American Sign Language and object identification.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL