MimicTouch: Leveraging Multi-modal Human Tactile Demonstrations for Contact-rich Manipulation

要約

触覚センシングは、挿入や組み立てなど、きめ細かく接触が多い操作タスクには不可欠です。
これまでの研究では、遠隔操作のデモンストレーション データから触覚誘導政策を学習できる可能性が示されています。
ただし、デモンストレーションを行うために、人間のユーザーは視覚的なフィードバックに頼ってロボットを制御することがよくあります。
これにより、ロボットの制御に使用されるセンシングモダリティ (視覚) と関心のあるモダリティ (触覚) の間にギャップが生じます。
このギャップを埋めるために、人間のユーザーが手で提供するデモンストレーションから直接ポリシーを学習するための新しいフレームワークである「MimicTouch」を紹介します。
主要なイノベーションは、i) 人間の触覚誘導制御戦略を学習するためのマルチモーダル触覚データセットを収集する人間触覚データ収集システム、ii) そのようなデータを通じて人間の触覚誘導制御戦略を学習するための模倣学習ベースのフレームワーク、および iii
）人間の手とロボットグリッパーの間の実施形態のギャップを埋めるためのオンライン残余RLフレームワーク。
包括的な実験を通じて、接触の多い操作タスクを解決するために人間の触覚誘導制御戦略を利用することの有効性を強調します。
プロジェクトの Web サイトは https://sites.google.com/view/MimicTouch にあります。

要約(オリジナル)

Tactile sensing is critical to fine-grained, contact-rich manipulation tasks, such as insertion and assembly. Prior research has shown the possibility of learning tactile-guided policy from teleoperated demonstration data. However, to provide the demonstration, human users often rely on visual feedback to control the robot. This creates a gap between the sensing modality used for controlling the robot (visual) and the modality of interest (tactile). To bridge this gap, we introduce ‘MimicTouch’, a novel framework for learning policies directly from demonstrations provided by human users with their hands. The key innovations are i) a human tactile data collection system which collects multi-modal tactile dataset for learning human’s tactile-guided control strategy, ii) an imitation learning-based framework for learning human’s tactile-guided control strategy through such data, and iii) an online residual RL framework to bridge the embodiment gap between the human hand and the robot gripper. Through comprehensive experiments, we highlight the efficacy of utilizing human’s tactile-guided control strategy to resolve contact-rich manipulation tasks. The project website is at https://sites.google.com/view/MimicTouch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google