TeleFMG: A Wearable Force-Myography Device for Natural Teleoperation of Multi-finger Robotic Hands

要約

遠隔操作を使用すると、ユーザーは危険な作業 (災害地域や化学工場での作業など) を遠隔地から実行できます。
それにもかかわらず、一般的なアプローチでは、多くの場合、煩雑で不自然な使用法が提供されます。
このレターでは、ユーザーの手の自然な動きを通じて多指ロボットハンドを遠隔操作するアプローチである TeleFMG を提案します。
低コストのウェアラブルな Force-Myography (FMG) デバイスを使用することで、ユーザーの前腕の筋骨格活動が手のポーズにマッピングされ、ロボットハンドによって模倣されます。
マッピングは、時間畳み込みネットワークに基づく時空間データベースのモデルによって実行されます。
このモデルでは、FMG 信号の時間依存性とともに、前腕上のセンサーの空間位置が考慮されます。
一連の実験は、遠隔操作者が直観的かつ自然な指の動きを通じて複数の指を持つ手を制御できることを示しています。
ロボットが物体の掴みやジェスチャーにおいてユーザーの手をうまく模倣することが示されています。
さらに、新しいユーザーへの転送が評価され、限られた量の新しいデータで微調整することで精度が大幅に向上することが示されています。

要約(オリジナル)

Teleoperation enables a user to perform dangerous tasks (e.g., work in disaster zones or in chemical plants) from a remote location. Nevertheless, common approaches often provide cumbersome and unnatural usage. In this letter, we propose TeleFMG, an approach for teleoperation of a multi-finger robotic hand through natural motions of the user’s hand. By using a low-cost wearable Force-Myography (FMG) device, musculoskeletal activities on the user’s forearm are mapped to hand poses which, in turn, are mimicked by a robotic hand. The mapping is performed by a spatio-temporal data-based model based on the Temporal Convolutional Network. The model considers spatial positions of the sensors on the forearm along with temporal dependencies of the FMG signals. A set of experiments show the ability of a teleoperator to control a multi-finger hand through intuitive and natural finger motion. A robot is shown to successfully mimic the user’s hand in object grasping and gestures. Furthermore, transfer to a new user is evaluated while showing that fine-tuning with a limited amount of new data significantly improves accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google