RoboPanoptes: The All-seeing Robot with Whole-body Dexterity

要約

全身の視力を通じて全身の器用さを達成する有能でありながら実用的なロボットシステムであるRobopanoptesを紹介します。
その全身の器用さにより、ロボットは、複数の接点を活用したり、制約されたスペースをナビゲートするなど、操作に全身表面を利用できます。
一方、全身ビジョンは、ロボットの表面に分布したカメラシステムを使用して、独自の環境状態の包括的な多様な視覚フィードバックを提供します。
その中核では、ロボパノプテスは、センサーの障害に回復力を維持しながら、分散カメラから情報を効率的に集約しながら、人間のデモから直接複雑な操作スキルを学習する全身視覚運動ポリシーを使用します。
これらの設計の側面は、新しい機能とタスクのロックを解除し、ロボパノプテが狭いスペースでボックスを解除し、複数または特大のオブジェクトを掃除し、散らかった環境でのマルチステップ積み込み、適応性と効率のベースラインを上回ることを可能にします。
結果は、https：//robopanoptes.github.ioで最もよく表示されます。

要約(オリジナル)

We present RoboPanoptes, a capable yet practical robot system that achieves whole-body dexterity through whole-body vision. Its whole-body dexterity allows the robot to utilize its entire body surface for manipulation, such as leveraging multiple contact points or navigating constrained spaces. Meanwhile, whole-body vision uses a camera system distributed over the robot’s surface to provide comprehensive, multi-perspective visual feedback of its own and the environment’s state. At its core, RoboPanoptes uses a whole-body visuomotor policy that learns complex manipulation skills directly from human demonstrations, efficiently aggregating information from the distributed cameras while maintaining resilience to sensor failures. Together, these design aspects unlock new capabilities and tasks, allowing RoboPanoptes to unbox in narrow spaces, sweep multiple or oversized objects, and succeed in multi-step stowing in cluttered environments, outperforming baselines in adaptability and efficiency. Results are best viewed on https://robopanoptes.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google