MindForge: Empowering Embodied Agents with Theory of Mind for Lifelong Cultural Learning

要約

Voyagerなどの大規模な言語モデル（LLMS）を搭載した具体化されたエージェントは、Minecraftなどの世界のオープンエンドの能力を約束します。
ただし、Open-Weight LLMを搭載している場合、ドメイン固有の微調整後も基本タスクを抑えます。
私たちは、明示的な視点での文化的生涯学習のための生成エージェントフレームワークであるMindforgeを提案します。
3つの重要な革新を紹介します。（1）知覚、信念、欲求、行動をリンクする心の表現の構造化理論。
（2）自然なエージェント間の通信。
（3）マルチコンポーネントメモリシステム。
文化的学習の枠組みに従って、Minecraft内の有益な設定と共同設定の両方でMindforgeをテストします。
GPT-4を使用した有益な設定では、オープンウェイトLLMを搭載したMindforgeエージェントは、Voyagerのカウンターパートを基本的なタスクで大幅に上回り、$ 3 \ Times $ MILESTONESを生み出し、Voyager Baselineよりも2.3 \ Times $のユニークなアイテムを収集します。
さらに、完全\ TextIT {Collaborative}設定では、2人の不十分なエージェントのパフォーマンスがより多くの通信ラウンドで向上し、Condorcet ju審員の定理をエコーすることがわかります。
Mindforgeのエージェントは、蓄積された文化的経験を通じて、専門家の知識移転、協力的な問題解決、および分散排出タスクへの適応など、洗練された行動を実証しています。

要約(オリジナル)

Embodied agents powered by large language models (LLMs), such as Voyager, promise open-ended competence in worlds such as Minecraft. However, when powered by open-weight LLMs they still falter on elementary tasks after domain-specific fine-tuning. We propose MindForge, a generative-agent framework for cultural lifelong learning through explicit perspective taking. We introduce three key innovations: (1) a structured theory of mind representation linking percepts, beliefs, desires, and actions; (2) natural inter-agent communication; and (3) a multi-component memory system. Following the cultural learning framework, we test MindForge in both instructive and collaborative settings within Minecraft. In an instructive setting with GPT-4, MindForge agents powered by open-weight LLMs significantly outperform their Voyager counterparts in basic tasks yielding $3\times$ more tech-tree milestones and collecting $2.3\times$ more unique items than the Voyager baseline. Furthermore, in fully \textit{collaborative} settings, we find that the performance of two underachieving agents improves with more communication rounds, echoing the Condorcet Jury Theorem. MindForge agents demonstrate sophisticated behaviors, including expert-novice knowledge transfer, collaborative problem solving, and adaptation to out-of-distribution tasks through accumulated cultural experiences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google