MindForge: Empowering Embodied Agents with Theory of Mind for Lifelong Collaborative Learning

要約

Minecraft の Voyager など、現代の身体化エージェントは、オープンエンドの個人学習において有望な機能を実証しています。
ただし、オープンラージ言語モデル (LLM) を利用すると、これらのエージェントは、ドメイン固有の知識に基づいて微調整した場合でも、基本的なタスクに苦労することがよくあります。
人間の文化学習にインスピレーションを得た \collabvoyager は、明示的な視点の取得を通じて生涯にわたる共同学習で Voyager を強化する新しいフレームワークです。
\collabvoyager は 3 つの重要な革新を紹介します。(1) 知覚、信念、欲望、行動を結び付ける心の表現の理論。
(2) エージェント間の自然言語コミュニケーション。
(3) タスクと環境の知識の意味記憶とコラボレーションのエピソードのエピソード記憶。
これらの進歩により、エージェントは自分や他人の精神状態を推論し、誤った信念と誤ったタスク実行という 2 つの一般的な失敗モードに経験的に対処できるようになります。
専門知識を組み合わせた Minecraft の実験では、\collabvoyager エージェントが Voyager エージェントを上回り、タスク完了率が 1 ブロックの土の収集で $66.6\% (+39.4\%)$、1 つの土ブロックの収集で $70.8\% (+20.8\%)$ 大幅に向上しました。
木のブロック。
彼らは、専門家から初心者エージェントへの知識の伝達や共同的なコード修正などの創発的な行動を示します。
\collabvoyager エージェントは、コラボレーションを通じて得たこれまでの経験や信念を利用して、配布外のタスクに適応する能力も示しています。
この無制限の社会学習パラダイムにおいて、\collabvoyager は、エージェントが導入時にピアと環境のフィードバックの両方から学習する、身体化された AI の民主的開発への道を切り開きます。

要約(オリジナル)

Contemporary embodied agents, such as Voyager in Minecraft, have demonstrated promising capabilities in open-ended individual learning. However, when powered with open large language models (LLMs), these agents often struggle with rudimentary tasks, even when fine-tuned on domain-specific knowledge. Inspired by human cultural learning, we present \collabvoyager, a novel framework that enhances Voyager with lifelong collaborative learning through explicit perspective-taking. \collabvoyager introduces three key innovations: (1) theory of mind representations linking percepts, beliefs, desires, and actions; (2) natural language communication between agents; and (3) semantic memory of task and environment knowledge and episodic memory of collaboration episodes. These advancements enable agents to reason about their and others’ mental states, empirically addressing two prevalent failure modes: false beliefs and faulty task executions. In mixed-expertise Minecraft experiments, \collabvoyager agents outperform Voyager counterparts, significantly improving task completion rate by $66.6\% (+39.4\%)$ for collecting one block of dirt and $70.8\% (+20.8\%)$ for collecting one wood block. They exhibit emergent behaviors like knowledge transfer from expert to novice agents and collaborative code correction. \collabvoyager agents also demonstrate the ability to adapt to out-of-distribution tasks by using their previous experiences and beliefs obtained through collaboration. In this open-ended social learning paradigm, \collabvoyager paves the way for the democratic development of embodied AI, where agents learn in deployment from both peer and environmental feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google