Do Embodied Agents Dream of Pixelated Sheep: Embodied Decision Making using Language Guided World Modelling

要約

タイトル：「Do Embodied Agents Dream of Pixelated Sheep: Embodied Decision Making using Language Guided World Modelling」
要約：
– 強化学習エージェントは、通常、世界の事前知識を持たずにタビュララサで学ぶが、高レベルのサブゴールやサブゴール間のトランジションの知識を初期化することで、強化学習エージェントは Abstract World Model（AWM）を利用して計画や探索を行うことができる。
– LLMを使用してAWMを仮説化し、世界の経験を通じて検証することで、強化学習エージェントのサンプル効率を向上させる提案。
– DECKARDエージェントは、MinecraftのアイテムクラフトにおいてLLMによる探検を適用しており、(1) Dreamフェーズでエージェントがタスクをサブゴールのシーケンスに分解する仮説AWMをLLMで生成し、(2) Wakeフェーズで エージェントは各サブゴールに対してモジュール化されたポリシーを学習し、仮説AWMを検証または修正する。
– LLMを使用してAWMを仮説し、エージェントの経験に基づいてAWMを検証するこの手法は、現代的な方法に比べてサンプル効率を桁違いに改善し、環境動態に根ざした知識とLLMからのノイズの多いインターネットスケールの情報をうまく組み合わせる。

要約(オリジナル)

Reinforcement learning (RL) agents typically learn tabula rasa, without prior knowledge of the world. However, if initialized with knowledge of high-level subgoals and transitions between subgoals, RL agents could utilize this Abstract World Model (AWM) for planning and exploration. We propose using few-shot large language models (LLMs) to hypothesize an AWM, that will be verified through world experience, to improve sample efficiency of RL agents. Our DECKARD agent applies LLM-guided exploration to item crafting in Minecraft in two phases: (1) the Dream phase where the agent uses an LLM to decompose a task into a sequence of subgoals, the hypothesized AWM; and (2) the Wake phase where the agent learns a modular policy for each subgoal and verifies or corrects the hypothesized AWM. Our method of hypothesizing an AWM with LLMs and then verifying the AWM based on agent experience not only increases sample efficiency over contemporary methods by an order of magnitude but is also robust to and corrects errors in the LLM, successfully blending noisy internet-scale information from LLMs with knowledge grounded in environment dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI