RoboOS: A Hierarchical Embodied Framework for Cross-Embodiment and Multi-Agent Collaboration

要約

具体化されたインテリジェンスの夜明けは、次世代の生態系にわたる回復力のある認知対応マルチエージェントコラボレーション、自律的な製造、適応型サービスロボット工学、サイバー物理生産アーキテクチャのパラダイムに革命をもたらすための前例のない命令に導かれました。
ただし、現在のロボットシステムは、限られた交差体の適応性、非効率的なタスクスケジューリング、動的エラー補正が不十分ななど、大きな制限に直面しています。
エンドツーエンドのVLAモデルは不十分な長老の計画とタスクの一般化を示していますが、階層VLAモデルは、交差体の存在と多象徴的な調整機能の欠如に苦しんでいます。
これらの課題に対処するために、脳小脳の階層構造に基づいて構築された最初のオープンソース具体化されたシステムであるRoboosを導入し、単一エージェントからマルチエージェントインテリジェンスへのパラダイムシフトを可能にします。
具体的には、ロブーは3つの重要なコンポーネントで構成されています。（1）具体化された脳モデル（ロボブリン）、グローバルな認識と高レベルの意思決定のために設計されたMLLM。
（2）複数のスキルのシームレスな実行を促進するモジュール式のプラグアンドプレイツールキットであるセレベラムスキルライブラリ。
（3）マルチエージェント状態を調整するための時空間的同期メカニズムであるリアルタイム共有メモリ。
階層情報の流れを統合することにより、Roboos Bridgesは脳と小脳スキルライブラリを具体化し、リアルタイム共有メモリを通じて効率的なマルチエージェントコラボレーションを確保しながら、堅牢な計画、スケジューリング、およびエラー修正を促進します。
さらに、高周波相互作用を促進し、スケーラブルな展開を可能にするために、エッジクラウド通信とクラウドベースの分散推論を強化します。
さまざまなシナリオにわたる広範な現実世界の実験は、不均一な実施形態をサポートする際のロブーの多様性を示しています。
プロジェクトWebサイト：https：//github.com/flagopen/roboos

要約(オリジナル)

The dawn of embodied intelligence has ushered in an unprecedented imperative for resilient, cognition-enabled multi-agent collaboration across next-generation ecosystems, revolutionizing paradigms in autonomous manufacturing, adaptive service robotics, and cyber-physical production architectures. However, current robotic systems face significant limitations, such as limited cross-embodiment adaptability, inefficient task scheduling, and insufficient dynamic error correction. While End-to-end VLA models demonstrate inadequate long-horizon planning and task generalization, hierarchical VLA models suffer from a lack of cross-embodiment and multi-agent coordination capabilities. To address these challenges, we introduce RoboOS, the first open-source embodied system built on a Brain-Cerebellum hierarchical architecture, enabling a paradigm shift from single-agent to multi-agent intelligence. Specifically, RoboOS consists of three key components: (1) Embodied Brain Model (RoboBrain), a MLLM designed for global perception and high-level decision-making; (2) Cerebellum Skill Library, a modular, plug-and-play toolkit that facilitates seamless execution of multiple skills; and (3) Real-Time Shared Memory, a spatiotemporal synchronization mechanism for coordinating multi-agent states. By integrating hierarchical information flow, RoboOS bridges Embodied Brain and Cerebellum Skill Library, facilitating robust planning, scheduling, and error correction for long-horizon tasks, while ensuring efficient multi-agent collaboration through Real-Time Shared Memory. Furthermore, we enhance edge-cloud communication and cloud-based distributed inference to facilitate high-frequency interactions and enable scalable deployment. Extensive real-world experiments across various scenarios, demonstrate RoboOS’s versatility in supporting heterogeneous embodiments. Project website: https://github.com/FlagOpen/RoboOS

arxiv情報

提供元, 利用サービス

arxiv.jp, Google