Mental Modeling of Reinforcement Learning Agents by Language Models

要約

創発言語モデルは意思決定主体の知性を忠実にモデル化できるでしょうか?
現代の言語モデルはすでにある程度の推論能力を示しており、理論的にはトークン上のあらゆる確率分布を表現できる可能性がありますが、これらの事前訓練されたモデルが記憶した世界の知識を物理世界でのエージェントの行動を理解するためにどのように利用できるかについては、まだ十分に解明されていません。
この研究では、大規模言語モデル (LLM) が、エージェントの行動とエージェントの相互作用履歴からの状態への影響について推論することによって、エージェント メンタル モデリングと呼ばれるエージェントのメンタル モデルをどの程度うまく構築できるかを初めて実証的に検証しました。
この研究は、RL エージェントの動作を解明するために LLM を活用する可能性を明らかにし、説明可能な強化学習 (XRL) における重要な課題に対処する可能性があります。
この目的を達成するために、私たちは特定の評価指標を提案し、さまざまな複雑さの選択された RL タスク データセットでそれらをテストし、エージェントのメンタル モデルの確立に関する結果を報告します。
我々の結果は、さらなる技術革新がなければ、LLM が推論だけでエージェントを完全にメンタルモデリングする能力がまだないことを明らかにしています。
したがって、この研究は、最新の LLM の機能と制限についての新たな洞察を提供します。

要約(オリジナル)

Can emergent language models faithfully model the intelligence of decision-making agents? Though modern language models exhibit already some reasoning ability, and theoretically can potentially express any probable distribution over tokens, it remains underexplored how the world knowledge these pretrained models have memorized can be utilized to comprehend an agent’s behaviour in the physical world. This study empirically examines, for the first time, how well large language models (LLMs) can build a mental model of agents, termed agent mental modelling, by reasoning about an agent’s behaviour and its effect on states from agent interaction history. This research may unveil the potential of leveraging LLMs for elucidating RL agent behaviour, addressing a key challenge in eXplainable reinforcement learning (XRL). To this end, we propose specific evaluation metrics and test them on selected RL task datasets of varying complexity, reporting findings on agent mental model establishment. Our results disclose that LLMs are not yet capable of fully mental modelling agents through inference alone without further innovations. This work thus provides new insights into the capabilities and limitations of modern LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google