Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing

要約

接触が多い操作タスクを実行するには、触覚フィードバックと視覚フィードバックの融合が必要です。
ただし、これらのモダリティの独特な性質により、重大な課題が生じます。
この論文では、視覚と触覚の感覚入力を活用して器用な手の操作を可能にするシステムを紹介します。
具体的には、人間の触覚と視覚の共感覚にヒントを得た新しい点群ベースの触覚表現であるロボット共感覚を提案します。
このアプローチにより、両方の感覚入力の同時かつシームレスな統合が可能になり、より豊富な空間情報が提供され、ロボットの動作に関するより適切な推論が容易になります。
この方法は、シミュレートされた環境でトレーニングされてから実際のロボットに展開され、さまざまな手持ちオブジェクトの回転タスクに適用できます。
視覚と触覚の統合が強化学習と Sim2Real のパフォーマンスをどのように改善できるかについて、包括的なアブレーションが実行されます。
私たちのプロジェクト ページは https://yingyuan0414.github.io/visuotactile/ から入手できます。

要約(オリジナル)

Executing contact-rich manipulation tasks necessitates the fusion of tactile and visual feedback. However, the distinct nature of these modalities poses significant challenges. In this paper, we introduce a system that leverages visual and tactile sensory inputs to enable dexterous in-hand manipulation. Specifically, we propose Robot Synesthesia, a novel point cloud-based tactile representation inspired by human tactile-visual synesthesia. This approach allows for the simultaneous and seamless integration of both sensory inputs, offering richer spatial information and facilitating better reasoning about robot actions. The method, trained in a simulated environment and then deployed to a real robot, is applicable to various in-hand object rotation tasks. Comprehensive ablations are performed on how the integration of vision and touch can improve reinforcement learning and Sim2Real performance. Our project page is available at https://yingyuan0414.github.io/visuotactile/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google