Multi-Task Interactive Robot Fleet Learning with Visual World Models

要約

大規模なマルチタスクロボット学習の最近の進歩により、ロボットフリートを家庭や産業環境に導入する可能性が生まれ、さまざまな環境で多様なタスクを実行できるようになります。
ただし、AI 対応ロボットは、現実世界の変動性や不確実性にさらされると、一般化と堅牢性に関する課題に直面することがよくあります。
これらの課題に対処するために、マルチタスクの対話型ロボット フリート学習フレームワークである Sirius-Fleet を紹介します。
Sirius-Fleet は展開中のロボットのパフォーマンスを監視し、必要に応じて人間がロボットの動作を修正します。
私たちはビジュアルワールドモデルを採用して将来のアクションの結果を予測し、それらが異常を引き起こす可能性が高いかどうかを予測する異常予測子を構築します。
ロボットの自律性が向上するにつれて、異常予測機能が予測基準を自動的に適応させるため、人間の介入要求が減り、時間の経過とともに人間の作業負荷が徐々に軽減されます。
大規模なベンチマークでの評価により、マルチタスク ポリシーのパフォーマンスと監視精度の向上における Sirius-Fleet の有効性が実証されています。
シミュレーションにおける RoboCasa と現実世界における Mutex の両方、つまり 2 つの多様な大規模マルチタスク ベンチマークにおける Sirius-Fleet のパフォーマンスを実証します。
詳細については、プロジェクトの Web サイト: https://ut-austin-rpl.github.io/sirius-fleet をご覧ください。

要約(オリジナル)

Recent advancements in large-scale multi-task robot learning offer the potential for deploying robot fleets in household and industrial settings, enabling them to perform diverse tasks across various environments. However, AI-enabled robots often face challenges with generalization and robustness when exposed to real-world variability and uncertainty. We introduce Sirius-Fleet, a multi-task interactive robot fleet learning framework to address these challenges. Sirius-Fleet monitors robot performance during deployment and involves humans to correct the robot’s actions when necessary. We employ a visual world model to predict the outcomes of future actions and build anomaly predictors to predict whether they will likely result in anomalies. As the robot autonomy improves, the anomaly predictors automatically adapt their prediction criteria, leading to fewer requests for human intervention and gradually reducing human workload over time. Evaluations on large-scale benchmarks demonstrate Sirius-Fleet’s effectiveness in improving multi-task policy performance and monitoring accuracy. We demonstrate Sirius-Fleet’s performance in both RoboCasa in simulation and Mutex in the real world, two diverse, large-scale multi-task benchmarks. More information is available on the project website: https://ut-austin-rpl.github.io/sirius-fleet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google