MAGELLAN: Metacognitive predictions of learning progress guide autotelic LLM agents in large goal spaces

要約

オープンエンドの学習エージェントは、学習進捗（LP）を最大化するものに焦点を当てて、広大な可能性スペースで目標を効率的に優先順位付けする必要があります。
このような自己テリック探査が、高次元および進化する目標スペースでオンラインRLで訓練されたLLMエージェントによって達成される場合、LP予測の重要な課題は、自分自身の能力、メタ認知的監視の一形態をモデル化することです。
従来のアプローチでは、広範なサンプリングが必要なか、脆弱な専門家が定義した目標グループに依存しています。
LLMエージェントが能力とLPをオンラインで予測することを学ぶことができるメタ認知フレームワークであるMagellanを紹介します。
目標間のセマンティックな関係をキャプチャすることにより、マゼランは、サンプル効率の高いLP推定と、一般化を通じて進化する目標スペースへの動的な適応を可能にします。
インタラクティブな学習環境では、マゼランがLP予測効率と目標優先順位付けを改善し、エージェントが大きく進化する目標スペースを完全にマスターできるようにする唯一の方法であることを示しています。
これらの結果は、LP予測のメタ認知能力でLLMエージェントを増強することで、カリキュラムの学習をオープンエンドの目標スペースに効果的に拡大する方法を示しています。

要約(オリジナル)

Open-ended learning agents must efficiently prioritize goals in vast possibility spaces, focusing on those that maximize learning progress (LP). When such autotelic exploration is achieved by LLM agents trained with online RL in high-dimensional and evolving goal spaces, a key challenge for LP prediction is modeling one’s own competence, a form of metacognitive monitoring. Traditional approaches either require extensive sampling or rely on brittle expert-defined goal groupings. We introduce MAGELLAN, a metacognitive framework that lets LLM agents learn to predict their competence and LP online. By capturing semantic relationships between goals, MAGELLAN enables sample-efficient LP estimation and dynamic adaptation to evolving goal spaces through generalization. In an interactive learning environment, we show that MAGELLAN improves LP prediction efficiency and goal prioritization, being the only method allowing the agent to fully master a large and evolving goal space. These results demonstrate how augmenting LLM agents with a metacognitive ability for LP predictions can effectively scale curriculum learning to open-ended goal spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google