WorldCoder, a Model-Based LLM Agent: Building World Models by Writing Code and Interacting with the Environment

要約

環境との相互作用に基づいて世界の知識を表す Python プログラムを構築するモデルベースのエージェントを提供します。
世界モデルは、その相互作用を説明しようとすると同時に、それが達成できる報酬について楽観的でもあります。
これは、LLM を介してプログラム合成の作業を拡張することで実現します。
私たちは Gridworlds でエージェントを研究し、私たちのアプローチはディープ RL と比較してサンプル効率が高く、ReAct スタイルのエージェントと比較して計算効率が高いことがわかりました。

要約(オリジナル)

We give a model-based agent that builds a Python program representing its knowledge of the world based on its interactions with the environment. The world model tries to explain its interactions, while also being optimistic about what reward it can achieve. We do this by extending work on program synthesis via LLMs. We study our agent on gridworlds, finding our approach is more sample-efficient compared to deep RL, and more compute-efficient compared to ReAct-style agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google