Real-time Dexterous Telemanipulation with an End-Effect-Oriented Learning-based Approach

要約

器用な遠隔操作は、特に精密で安全な操作を必要とする作業において、人間とロボットのシステムを進歩させる上で極めて重要である。しかし、人間とロボットの手の物理的な違い、対象物との動的な相互作用、遠隔環境の間接的な制御と知覚のために、遠隔操作は大きな課題に直面しています。現在のアプローチでは、人間の手をロボットの手にマッピングして動きを再現することに主眼が置かれているが、このアプローチには重大な見落としがある。物体との物理的なインタラクションが軽視されがちであり、遠隔環境の間接的で直感に反する観察に対応して適応し、手間のかかる調整を行うインタラクションの負担が人間に委ねられている。本研究では、遠隔操作タスクに対応するために、EFOLD（End-Effects-Oriented Learning-based Dexterous Telemanipulation）フレームワークを開発する。EFOLDは遠隔操作をマルコフゲームとしてモデル化し、オブジェクトとのインタラクション中に人間のオペレータのコマンドを解釈するために複数のエンドエフェクト特徴を導入する。これらの特徴は、ロボットを制御し、そのようなエンドエフェクトを再現するために、深層強化学習ポリシーによって使用されます。EFOLDは、遠隔操作タスクにおいて仮想シャドウロボットハンドを制御するために、実際の人間被験者と2つのエンドエフェクト抽出法を用いて評価された。EFOLDは、低いコマンド追従待ち時間(delay<0.11s)と高精度な追跡(MSE<0.084 rad)でリアルタイム制御能力を達成した。

要約(オリジナル)

Dexterous telemanipulation is crucial in advancing human-robot systems, especially in tasks requiring precise and safe manipulation. However, it faces significant challenges due to the physical differences between human and robotic hands, the dynamic interaction with objects, and the indirect control and perception of the remote environment. Current approaches predominantly focus on mapping the human hand onto robotic counterparts to replicate motions, which exhibits a critical oversight: it often neglects the physical interaction with objects and relegates the interaction burden to the human to adapt and make laborious adjustments in response to the indirect and counter-intuitive observation of the remote environment. This work develops an End-Effects-Oriented Learning-based Dexterous Telemanipulation (EFOLD) framework to address telemanipulation tasks. EFOLD models telemanipulation as a Markov Game, introducing multiple end-effect features to interpret the human operator’s commands during interaction with objects. These features are used by a Deep Reinforcement Learning policy to control the robot and reproduce such end effects. EFOLD was evaluated with real human subjects and two end-effect extraction methods for controlling a virtual Shadow Robot Hand in telemanipulation tasks. EFOLD achieved real-time control capability with low command following latency (delay<0.11s) and highly accurate tracking (MSE<0.084 rad).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL