MimicTouch: Learning Human’s Control Strategy with Multi-Modal Tactile Feedback

要約

ロボット工学と人工知能では、特に位置合わせや挿入などの複雑なタスクの実行方法の学習において、触覚処理の統合がますます重要になっています。
しかし、挿入タスクのための触覚的方法に焦点を当てた既存の研究は、主にロボットの遠隔操作データと強化学習に依存しており、触覚フィードバックによって導かれた人間の制御戦略によってもたらされる豊富な洞察を利用していません。
人間の感覚を利用するために、人間からの学習に関連する方法論は主に視覚的なフィードバックを活用しており、複雑な操作を完了するために人間が本質的に使用する貴重な触覚フィードバックが見落とされることがよくあります。
このギャップに対処するために、人間の触覚誘導制御戦略を模倣する新しいフレームワークである「MimicTouch」を紹介します。
このフレームワークでは、まず人間のデモンストレーターからマルチモーダル触覚データセットを収集し、タスクを完了するための人間の触覚誘導制御戦略を組み込みます。
次のステップでは、マルチモーダル センサー データと再ターゲットされた人間の動作を使用した模倣学習を通じてロボットを指導します。
人間とロボットの間の具体化のギャップをさらに軽減するために、物理的なロボット上でオンライン残差強化学習を採用します。
包括的な実験を通じて、模倣学習によって学習された潜在ポリシーを人間からロボットに伝達する際のMimicTouchの安全性を検証します。
この進行中の研究は、より広範囲の触覚誘導ロボット応用への道を開くでしょう。

要約(オリジナル)

In robotics and artificial intelligence, the integration of tactile processing is becoming increasingly pivotal, especially in learning to execute intricate tasks like alignment and insertion. However, existing works focusing on tactile methods for insertion tasks predominantly rely on robot teleoperation data and reinforcement learning, which do not utilize the rich insights provided by human’s control strategy guided by tactile feedback. For utilizing human sensations, methodologies related to learning from humans predominantly leverage visual feedback, often overlooking the invaluable tactile feedback that humans inherently employ to finish complex manipulations. Addressing this gap, we introduce ‘MimicTouch’, a novel framework that mimics human’s tactile-guided control strategy. In this framework, we initially collect multi-modal tactile datasets from human demonstrators, incorporating human tactile-guided control strategies for task completion. The subsequent step involves instructing robots through imitation learning using multi-modal sensor data and retargeted human motions. To further mitigate the embodiment gap between humans and robots, we employ online residual reinforcement learning on the physical robot. Through comprehensive experiments, we validate the safety of MimicTouch in transferring a latent policy learned through imitation learning from human to robot. This ongoing work will pave the way for a broader spectrum of tactile-guided robotic applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google