Metacognition for Unknown Situations and Environments (MUSE)

要約

メタ認知、つまり自分の認知プロセスの認識と調節は、未知の状況における人間の適応力の中心です。
対照的に、現在の自律エージェントは適応能力が限られているため、新しい環境では苦戦することがよくあります。
私たちは、メタ認知は適応型自律システムに欠けている重要な要素であり、未知の課題に取り組むために必要な認知的柔軟性を適応型自律システムに備えさせるのではないかと仮説を立てています。
メタ認知能力の広範な範囲を考慮して、私たちは 2 つの重要な側面、つまり能力の認識と新しいタスクに対する戦略の選択に焦点を当てます。
この目的を達成するために、我々は、メタ認知プロセス、特に自己認識と自己規制を自律エージェントに統合する、未知の状況と環境のためのメタ認知 (MUSE) フレームワークを提案します。
MUSE の 2 つの初期実装を紹介します。1 つはワールド モデリングに基づいており、もう 1 つは大規模言語モデル (LLM) を活用しており、どちらもメタ認知サイクルをインスタンス化します。
私たちのシステムは、特定のタスクに関する能力を評価する方法を継続的に学習し、この自己認識を使用して戦略選択の反復サイクルを導きます。
MUSE エージェントは、自己認識と自己調整において大幅な改善を示し、Dreamer-v3 ベースの強化学習や純粋にプロンプ​​トベースの LLM エージェントのアプローチと比較して、新しい分散外タスクをより効果的に解決できるようになります。
この研究は、自律システムが新しい環境に適応できるようにする認知システムと神経システムに触発されたアプローチが有望であることを強調し、広範なトレーニング データに大きく依存する現在の方法の限界を克服します。

要約(オリジナル)

Metacognition–the awareness and regulation of one’s cognitive processes–is central to human adaptability in unknown situations. In contrast, current autonomous agents often struggle in novel environments due to their limited capacity for adaptation. We hypothesize that metacognition is a critical missing ingredient in adaptive autonomous systems, equipping them with the cognitive flexibility needed to tackle unfamiliar challenges. Given the broad scope of metacognitive abilities, we focus on two key aspects: competence awareness and strategy selection for novel tasks. To this end, we propose the Metacognition for Unknown Situations and Environments (MUSE) framework, which integrates metacognitive processes–specifically self-awareness and self-regulation–into autonomous agents. We present two initial implementations of MUSE: one based on world modeling and another leveraging large language models (LLMs), both instantiating the metacognitive cycle. Our system continuously learns to assess its competence on a given task and uses this self-awareness to guide iterative cycles of strategy selection. MUSE agents show significant improvements in self-awareness and self-regulation, enabling them to solve novel, out-of-distribution tasks more effectively compared to Dreamer-v3-based reinforcement learning and purely prompt-based LLM agent approaches. This work highlights the promise of approaches inspired by cognitive and neural systems in enabling autonomous systems to adapt to new environments, overcoming the limitations of current methods that rely heavily on extensive training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google