MimicTouch: Leveraging Multi-modal Human Tactile Demonstrations for Contact-rich Manipulation

要約

触覚センシングは、挿入やアセンブリなどの細粒の接触豊富な操作タスクにとって重要です。
以前の研究では、テレオ蒸しデモンストレーションデータから触覚誘導政策を学ぶ可能性が示されています。
ただし、デモンストレーションを提供するために、人間のユーザーはしばしばロボットを制御するために視覚的なフィードバックに依存しています。
これにより、ロボット（視覚）の制御に使用されるセンシングモダリティと関心のあるモダリティ（触覚）の間にギャップが生じます。
このギャップを埋めるために、「Mimictouch」を紹介します。これは、人間のユーザーが手で提供するデモンストレーションから直接ポリシーを直接学習するための新しいフレームワークです。
重要な革新は、i）人間の触覚誘導制御戦略を学ぶためのマルチモーダル触覚データセットを収集する人間の触覚データ収集システム、ii）そのようなデータを通じて人間の触覚誘導制御戦略を学習するための模倣学習ベースのフレームワーク、およびIII
）人間の手とロボットグリッパーの間の具体化のギャップを埋めるためのオンライン残留RLフレームワーク。
包括的な実験を通じて、人間の触覚誘導制御戦略を利用して、接触が豊富な操作タスクを解決することの有効性を強調します。
プロジェクトWebサイトはhttps://sites.google.com/view/mimictouchにあります。

要約(オリジナル)

Tactile sensing is critical to fine-grained, contact-rich manipulation tasks, such as insertion and assembly. Prior research has shown the possibility of learning tactile-guided policy from teleoperated demonstration data. However, to provide the demonstration, human users often rely on visual feedback to control the robot. This creates a gap between the sensing modality used for controlling the robot (visual) and the modality of interest (tactile). To bridge this gap, we introduce ‘MimicTouch’, a novel framework for learning policies directly from demonstrations provided by human users with their hands. The key innovations are i) a human tactile data collection system which collects multi-modal tactile dataset for learning human’s tactile-guided control strategy, ii) an imitation learning-based framework for learning human’s tactile-guided control strategy through such data, and iii) an online residual RL framework to bridge the embodiment gap between the human hand and the robot gripper. Through comprehensive experiments, we highlight the efficacy of utilizing human’s tactile-guided control strategy to resolve contact-rich manipulation tasks. The project website is at https://sites.google.com/view/MimicTouch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google