MineLand: Simulating Large-Scale Multi-Agent Interactions with Limited Multimodal Senses and Physical Needs

要約

視覚言語モデル (VLM) は広範なコラボレーションを必要とするタスクに有望ですが、従来のマルチエージェント シミュレーターは、集団行動を反映するインタラクティブな人工社会の豊かな探索を容易にしてきました。
ただし、これらの既存のシミュレータは重大な制限に直面しています。
まず、リソース要求が高いため、多数のエージェントを処理するのに苦労しています。
第二に、彼らはエージェントが完璧な情報と無限の能力を持っていると仮定することが多く、シミュレートされた社会的相互作用の生態学的妥当性を妨げます。
このギャップを埋めるために、私たちはマルチエージェント Minecraft シミュレーター、MineLand を提案します。これは、大規模なスケーラビリティ、限られたマルチモーダルな感覚、物理的ニーズという 3 つの主要な機能を導入することでこのギャップを埋めるものです。
当社のシミュレーターは 64 人以上のエージェントをサポートしています。
エージェントは視覚、聴覚、環境認識が限られているため、食料や資源などの物理的ニーズを満たすために積極的にコミュニケーションを取り、協力する必要があります。
さらに、マルチタスク理論にヒントを得た AI エージェント フレームワーク Alex を導入し、エージェントが複雑な調整とスケジューリングを処理できるようにします。
私たちの実験は、シミュレーター、対応するベンチマーク、および AI エージェント フレームワークが、より生態学的で微妙な集団行動に貢献していることを示しています。 MineLand と Alex のソース コードは、https://github.com/cocacola-lab/MineLand で公開されています。

要約(オリジナル)

While Vision-Language Models (VLMs) hold promise for tasks requiring extensive collaboration, traditional multi-agent simulators have facilitated rich explorations of an interactive artificial society that reflects collective behavior. However, these existing simulators face significant limitations. Firstly, they struggle with handling large numbers of agents due to high resource demands. Secondly, they often assume agents possess perfect information and limitless capabilities, hindering the ecological validity of simulated social interactions. To bridge this gap, we propose a multi-agent Minecraft simulator, MineLand, that bridges this gap by introducing three key features: large-scale scalability, limited multimodal senses, and physical needs. Our simulator supports 64 or more agents. Agents have limited visual, auditory, and environmental awareness, forcing them to actively communicate and collaborate to fulfill physical needs like food and resources. Additionally, we further introduce an AI agent framework, Alex, inspired by multitasking theory, enabling agents to handle intricate coordination and scheduling. Our experiments demonstrate that the simulator, the corresponding benchmark, and the AI agent framework contribute to more ecological and nuanced collective behavior.The source code of MineLand and Alex is openly available at https://github.com/cocacola-lab/MineLand.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google