Evaluating World Models with LLM for Decision Making

要約

ワールド モデルは意思決定における重要なモジュールとして登場し、MuZero と Dreamer は複雑なタスクで目覚ましい成功を収めます。
最近の研究では、大規模言語モデル (LLM) を一般世界シミュレーターとして活用し、その一般化可能性により世界のダイナミクスをシミュレートしています。
LLM は、計画による推論 (RAP) および思考のツリー (ToT) における熟議推論の世界モデルとしても機能します。
ただし、ワールド モデルは、一般的なワールド シミュレーターとして評価されるか、エージェントの機能モジュールとして評価されます。つまり、計画を支援するために遷移を予測します。
この研究では、意思決定の観点から LLM を使用した世界モデルの包括的な評価を提案します。
具体的には、(Wang et al., 2023;2024) の 31 の多様な環境を活用し、多様な評価のための各環境のルールベースのポリシーをキュレートします。
次に、政策検証、行動提案、政策計画という 3 つの主要なタスクを設計します。世界モデルは意思決定のみに使用できます。
最後に、高度な LLM、つまり GPT-4o と GPT-4o-mini の 3 つの主要なタスクの環境をさまざまな設定で総合的に評価します。
主な観察結果は次のとおりです: i) GPT-4o は 3 つの主要なタスク、特にドメイン知識を必要とするタスクで GPT-4o-mini よりも大幅に優れています、ii) LLM を使用したワールド モデルのパフォーマンスは長期的には低下します。
iii) 世界モデルのさまざまな機能を組み合わせると、パフォーマンスがさらに不安定になります。

要約(オリジナル)

World model emerges as a key module in decision making, where MuZero and Dreamer achieve remarkable successes in complex tasks. Recent work leverages Large Language Models (LLMs) as general world simulators to simulate the dynamics of the world due to their generalizability. LLMs also serve as the world model for deliberative reasoning in Reasoning via Planning (RAP) and Tree of Thought (ToT). However, the world models are either evaluated as a general world simulator, or as a functional module of the agent, i.e., predicting the transitions to assist the planning. In this work, we propose a comprehensive evaluation of the world models with LLMs from the decision making perspective. Specifically, we leverage the 31 diverse environments from (Wang et al., 2023;2024) and curate the rule-based policy of each environment for the diverse evaluation. Then, we design three main tasks, i.e., policy verification, action proposal, and policy planning, where the world models can be used for decision making solely. Finally, we conduct the comprehensive evaluation of the advanced LLMs, i.e., GPT-4o and GPT-4o-mini, on the environments for the three main tasks under various settings. The key observations include: i) GPT-4o significantly outperforms GPT-4o-mini on the three main tasks, especially for the tasks which require the domain knowledge, ii) the performance of the world model with LLM will be decreased for long-term decision-making tasks, and iii) the combination of different functionalities of the world model will brings additional unstabilities of the performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google