Posture-Informed Muscular Force Learning for Robust Hand Pressure Estimation

要約

PiMForceは、前腕表面筋電図（sEMG）信号を補強するために3D手の姿勢情報を活用することによって、手の圧力推定を強化する新しいフレームワークです。本アプローチでは、3Dハンドポーズからの詳細な空間情報とsEMGからの動的な筋活動を併用することで、多様なハンド・オブジェクト相互作用下での正確かつロバストな全手圧計測を可能にする。また、圧力グローブ、sEMGアームバンド、マーカーレス指追跡モジュールを組み合わせたマルチモーダルデータ収集システムを開発しました。我々は、21人の参加者から包括的なデータセットを作成し、我々の収集システムを用いて、様々な手の姿勢と手と物体の相互作用シナリオにわたって、手の姿勢、sEMG信号、および発揮された手圧の同期データを取得した。私たちのフレームワークは、複雑で自然なインタラクションシナリオにおける正確な手圧推定を可能にします。私たちのアプローチは、3D手の姿勢情報をsEMG信号と統合することにより、従来のsEMGベースまたは視覚ベースの手法の限界を大幅に緩和します。ビデオデモ、データ、コードはオンラインで入手可能です。

要約(オリジナル)

We present PiMForce, a novel framework that enhances hand pressure estimation by leveraging 3D hand posture information to augment forearm surface electromyography (sEMG) signals. Our approach utilizes detailed spatial information from 3D hand poses in conjunction with dynamic muscle activity from sEMG to enable accurate and robust whole-hand pressure measurements under diverse hand-object interactions. We also developed a multimodal data collection system that combines a pressure glove, an sEMG armband, and a markerless finger-tracking module. We created a comprehensive dataset from 21 participants, capturing synchronized data of hand posture, sEMG signals, and exerted hand pressure across various hand postures and hand-object interaction scenarios using our collection system. Our framework enables precise hand pressure estimation in complex and natural interaction scenarios. Our approach substantially mitigates the limitations of traditional sEMG-based or vision-based methods by integrating 3D hand posture information with sEMG signals. Video demos, data, and code are available online.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL