MindAgent: Emergent Gaming Interaction

要約

Large Language Model (LLM) は、マルチエージェント システムで複雑なスケジューリングを実行する能力を備えており、これらのエージェントを調整して、広範なコラボレーションを必要とする高度なタスクを完了できます。
しかし、多数のゲーム フレームワークが導入されているにもかかわらず、コミュニティには、LLM と人間と NPC の両方のコラボレーションを包含する一般的なマルチエージェント コラボレーション インフラストラクチャの構築に向けたベンチマークが不十分です。
この研究では、ゲーム インタラクションのための計画と調整の新しい機能を評価するための新しいインフラストラクチャ MindAgent を提案します。
特に、当社のインフラストラクチャは既存のゲーム フレームワークを活用しており、i) マルチエージェント システムのコーディネーターの理解を必要とし、ii) 微調整されていない適切な指示を通じて人間のプレイヤーと協力し、iii) いくつかの要素についてコンテキスト内の学習を確立します。
フィードバック付きのショットプロンプト。
さらに、マルチエージェントのコラボレーション効率を高め、同時にゲームをプレイする複数のエージェントを監視する新しいゲームシナリオと関連ベンチマークである CUISINEWORLD を紹介します。
コラボレーション効率を計算するための新しい自動メトリクス CoS を使用して総合的な評価を実施します。
最後に、当社のインフラストラクチャは、CUISINEWORLD のカスタマイズされた VR バージョンで現実世界のゲーム シナリオに展開し、既存のより広範な Minecraft ゲーム ドメインに適応させることができます。
私たちは、LLM と汎用のスケジューリングと調整のための新しいインフラストラクチャに関する私たちの発見が、大規模な言語コーパスから学習することでそのようなスキルをどのように獲得できるかを明らかにするのに役立つことを願っています。

要約(オリジナル)

Large Language Models (LLMs) have the capacity of performing complex scheduling in a multi-agent system and can coordinate these agents into completing sophisticated tasks that require extensive collaboration. However, despite the introduction of numerous gaming frameworks, the community has insufficient benchmarks towards building general multi-agents collaboration infrastructure that encompass both LLM and human-NPCs collaborations. In this work, we propose a novel infrastructure – MindAgent – to evaluate planning and coordination emergent capabilities for gaming interaction. In particular, our infrastructure leverages existing gaming framework, to i) require understanding of the coordinator for a multi-agent system, ii) collaborate with human players via un-finetuned proper instructions, and iii) establish an in-context learning on few-shot prompt with feedback. Furthermore, we introduce CUISINEWORLD, a new gaming scenario and related benchmark that dispatch a multi-agent collaboration efficiency and supervise multiple agents playing the game simultaneously. We conduct comprehensive evaluations with new auto-metric CoS for calculating the collaboration efficiency. Finally, our infrastructure can be deployed into real-world gaming scenarios in a customized VR version of CUISINEWORLD and adapted in existing broader Minecraft gaming domain. We hope our findings on LLMs and the new infrastructure for general-purpose scheduling and coordination can help shed light on how such skills can be obtained by learning from large language corpora.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google