RoboPanoptes: The All-seeing Robot with Whole-body Dexterity

要約

私たちは、全身視覚を通じて全身の器用さを実現する、有能かつ実用的なロボットシステムである RoboPanoptes を紹介します。
その全身の器用さにより、ロボットは複数の接触点を活用したり、限られた空間を移動したりするなど、操作に体表面全体を利用することができます。
一方、全身視覚では、ロボットの表面上に分散されたカメラ システムを使用して、ロボット自体と環境の状態に関する包括的で多視点の視覚フィードバックを提供します。
RoboPanoptes はその中核として、人間のデモンストレーションから複雑な操作スキルを直接学習する全身視覚運動ポリシーを使用し、センサー障害に対する回復力を維持しながら分散カメラからの情報を効率的に集約します。
これらの設計面が連携して、新たな機能とタスクが解放され、RoboPanoptes が狭いスペースで開梱し、複数または特大の物体を掃除し、雑然とした環境で複数段階の収納に成功し、適応性と効率性においてベースラインを上回るパフォーマンスを発揮できるようになります。
結果は https://robopanoptes.github.io で最もよく見ることができます。

要約(オリジナル)

We present RoboPanoptes, a capable yet practical robot system that achieves whole-body dexterity through whole-body vision. Its whole-body dexterity allows the robot to utilize its entire body surface for manipulation, such as leveraging multiple contact points or navigating constrained spaces. Meanwhile, whole-body vision uses a camera system distributed over the robot’s surface to provide comprehensive, multi-perspective visual feedback of its own and the environment’s state. At its core, RoboPanoptes uses a whole-body visuomotor policy that learns complex manipulation skills directly from human demonstrations, efficiently aggregating information from the distributed cameras while maintaining resilience to sensor failures. Together, these design aspects unlock new capabilities and tasks, allowing RoboPanoptes to unbox in narrow spaces, sweep multiple or oversized objects, and succeed in multi-step stowing in cluttered environments, outperforming baselines in adaptability and efficiency. Results are best viewed on https://robopanoptes.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google