Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing

要約

接触リッチな操作タスクを実行するには、触覚と視覚のフィードバックを融合させる必要がある。しかし、これらのモダリティはそれぞれ異なる性質を持っているため、大きな課題がある。本論文では、器用な手先操作を可能にするために、視覚と触覚の感覚入力を活用するシステムを紹介する。具体的には、人間の触覚と視覚の共感覚にヒントを得た、点群ベースの新しい触覚表現であるロボット共感覚を提案する。このアプローチは、両方の感覚入力を同時にシームレスに統合することを可能にし、より豊かな空間情報を提供し、ロボットの動作に関するより良い推論を容易にする。この方法は、シミュレートされた環境で訓練された後、実際のロボットに導入され、様々な手の中の物体回転タスクに適用可能である。視覚と触覚の統合が強化学習とSim2Realのパフォーマンスをどのように向上させるかについて、包括的なアブレーションが行われる。プロジェクトページは https://yingyuan0414.github.io/visuotactile/ 。

要約(オリジナル)

Executing contact-rich manipulation tasks necessitates the fusion of tactile and visual feedback. However, the distinct nature of these modalities poses significant challenges. In this paper, we introduce a system that leverages visual and tactile sensory inputs to enable dexterous in-hand manipulation. Specifically, we propose Robot Synesthesia, a novel point cloud-based tactile representation inspired by human tactile-visual synesthesia. This approach allows for the simultaneous and seamless integration of both sensory inputs, offering richer spatial information and facilitating better reasoning about robot actions. The method, trained in a simulated environment and then deployed to a real robot, is applicable to various in-hand object rotation tasks. Comprehensive ablations are performed on how the integration of vision and touch can improve reinforcement learning and Sim2Real performance. Our project page is available at https://yingyuan0414.github.io/visuotactile/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL