RoboFactory: Exploring Embodied Agent Collaboration with Compositional Constraints

要約

効果的な具体化されたマルチエージェントシステムを設計することは、ドメイン全体で複雑な現実世界のタスクを解決するために重要です。
マルチエージェント具体化されたシステムの複雑さにより、既存の方法は、そのようなシステムの安全で効率的なトレーニングデータを自動的に生成できません。
この目的のために、具体化されたエージェント間のコラボレーションから生じる課題に対処する、具体化されたマルチエージェントシステムの構成制約の概念を提案します。
さまざまな種類の制約に合わせたさまざまなインターフェイスを設計し、物理的な世界とのシームレスな相互作用を可能にします。
組成の制約と特異的に設計されたインターフェイスを活用して、具体化されたマルチエージェントシステム用の自動データ収集フレームワークを開発し、具体化されたマルチエージェント操作であるRobofactoryの最初のベンチマークを導入します。
Robofactoryベンチマークに基づいて、模倣学習の方法を適応および評価し、さまざまな難易度エージェントタスクでそのパフォーマンスを分析しました。
さらに、安全で効率的な具体化されたマルチエージェントシステムを構築することを目的とした、マルチエージェント模倣学習のためのアーキテクチャとトレーニング戦略を探ります。

要約(オリジナル)

Designing effective embodied multi-agent systems is critical for solving complex real-world tasks across domains. Due to the complexity of multi-agent embodied systems, existing methods fail to automatically generate safe and efficient training data for such systems. To this end, we propose the concept of compositional constraints for embodied multi-agent systems, addressing the challenges arising from collaboration among embodied agents. We design various interfaces tailored to different types of constraints, enabling seamless interaction with the physical world. Leveraging compositional constraints and specifically designed interfaces, we develop an automated data collection framework for embodied multi-agent systems and introduce the first benchmark for embodied multi-agent manipulation, RoboFactory. Based on RoboFactory benchmark, we adapt and evaluate the method of imitation learning and analyzed its performance in different difficulty agent tasks. Furthermore, we explore the architectures and training strategies for multi-agent imitation learning, aiming to build safe and efficient embodied multi-agent systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google