ViTaMIn: Learning Contact-Rich Tasks Through Robot-Free Visuo-Tactile Manipulation Interface

要約

触覚情報は、特に接触特性の理解を必要とするタスクのために、人間とロボットが環境と効果的に対話するために重要な役割を果たします。
このような器用な操作タスクを解決することは、多くの場合、デモ型データセットからの模倣学習に依存しています。これは通常、遠隔操作システムを介して収集され、多くの場合、かなりの時間と労力を要求します。
これらの課題に対処するために、ビタミンを提示します。ビタミンは、視覚的および触覚センシングを手持ちグリッパーにシームレスに統合し、テレオ操作を必要とせずにデータ収集を可能にする具体的に具体的に統合するビタミンを提示します。
私たちのデザインは、触覚センシングを備えた準拠したFin Ray Gripperを採用しているため、オペレーターはより直感的な操作のための操作中に力のフィードバックを知覚できます。
さらに、事前に訓練された触覚表現を取得し、データの効率とポリシーの堅牢性を改善するためのマルチモーダル表現学習戦略を提案します。
7つの接触豊富な操作タスクの実験は、ビタミンがベースライン方法を大幅に上回り、複雑な操作タスクの有効性を実証することを示しています。

要約(オリジナル)

Tactile information plays a crucial role for humans and robots to interact effectively with their environment, particularly for tasks requiring the understanding of contact properties. Solving such dexterous manipulation tasks often relies on imitation learning from demonstration datasets, which are typically collected via teleoperation systems and often demand substantial time and effort. To address these challenges, we present ViTaMIn, an embodiment-free manipulation interface that seamlessly integrates visual and tactile sensing into a hand-held gripper, enabling data collection without the need for teleoperation. Our design employs a compliant Fin Ray gripper with tactile sensing, allowing operators to perceive force feedback during manipulation for more intuitive operation. Additionally, we propose a multimodal representation learning strategy to obtain pre-trained tactile representations, improving data efficiency and policy robustness. Experiments on seven contact-rich manipulation tasks demonstrate that ViTaMIn significantly outperforms baseline methods, demonstrating its effectiveness for complex manipulation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google