Towards Predicting Fine Finger Motions from Ultrasound Images via Kinematic Representation

要約

ロボット義足を構築する際の中心的な課題は、下肢から生理学的信号を読み取り、ロボットハンドにさまざまなタスクを実行するよう指示できるセンサーベースのシステムを作成することです。
既存のシステムは通常、筋電図 (EMG) または超音波 (US) 技術を使用して筋肉の状態を分析することにより、指差しやつかみなどの個別のジェスチャを実行します。
指のジェスチャの推定は、過去に顕著なジェスチャを検出することによって行われてきましたが、時間の経過とともに進化する細かい動きのコンテキストで行われる検出または推論に興味があります。
例としては、キーボードのタイピングやピアノの演奏など、細かい器用なタスクを実行するときに発生するモーションが含まれます。
このタスクは、日常のタスクを実行する際の機能を劇的に向上させる可能性があるため、腕切断者の間でロボット義足の採用率を高めるための重要なステップであると考えています。
この目的のために、細かい指の動きをうまく推測できるエンドツーエンドのロボットシステムを提示します。
これは、手をロボット マニピュレーターとしてモデル化し、それを中間表現として使用して一連の米国画像から筋肉のダイナミクスをエンコードすることによって実現されます。
被験者のグループからデータを収集し、再生された音楽または入力されたテキストを再生するためにどのように使用できるかを実証することにより、私たちの方法を評価しました。
私たちの知る限りでは、これはエンド ツー エンド システム内のこれらのダウンストリーム タスクを実証する最初の研究です。

要約(オリジナル)

A central challenge in building robotic prostheses is the creation of a sensor-based system able to read physiological signals from the lower limb and instruct a robotic hand to perform various tasks. Existing systems typically perform discrete gestures such as pointing or grasping, by employing electromyography (EMG) or ultrasound (US) technologies to analyze muscle states. While estimating finger gestures has been done in the past by detecting prominent gestures, we are interested in detection, or inference, done in the context of fine motions that evolve over time. Examples include motions occurring when performing fine and dexterous tasks such as keyboard typing or piano playing. We consider this task as an important step towards higher adoption rates of robotic prostheses among arm amputees, as it has the potential to dramatically increase functionality in performing daily tasks. To this end, we present an end-to-end robotic system, which can successfully infer fine finger motions. This is achieved by modeling the hand as a robotic manipulator and using it as an intermediate representation to encode muscles’ dynamics from a sequence of US images. We evaluated our method by collecting data from a group of subjects and demonstrating how it can be used to replay music played or text typed. To the best of our knowledge, this is the first study demonstrating these downstream tasks within an end-to-end system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google