Toward Efficient Exploration by Large Language Model Agents

要約

強化学習（RL）内の急成長エリアは、大規模な言語モデル（LLMS）を中心としたシーケンシャル意思決定エージェントの設計です。
最新のLLMSを搭載した自律的な意思決定エージェントは、多数の現実世界のアプリケーションを促進する可能性がありますが、そのような成功は、データ効率の高いRLが可能なエージェントを要求します。
RLでデータ効率を達成するための重要な障害の1つは探査です。これは、LLMエージェントデザインに関する最近の多くの提案が闘うのに苦労することを示す課題です。
一方、探査に優雅に対処することが知られているRL文献の古典的なアルゴリズムには、純粋に自然な言語の設定で運用するのが難しい技術的な機械が必要です。
この作業では、LLMSを暗黙的にRLアルゴリズムを模倣するようにLLMSを共有するように微調整またはコンテキスト内の学習に依存するのではなく、LLMを使用して既存のRLアルゴリズム（補強学習のための事後サンプリング）を明示的に実装する方法を説明します。
LLMベースの既知のデータ効率の良いRLアルゴリズムの実装が、慎重な探索を要求する自然言語タスクでかなり効果的である方法を示す経験的結果を提供します。

要約(オリジナル)

A burgeoning area within reinforcement learning (RL) is the design of sequential decision-making agents centered around large language models (LLMs). While autonomous decision-making agents powered by modern LLMs could facilitate numerous real-world applications, such successes demand agents that are capable of data-efficient RL. One key obstacle to achieving data efficiency in RL is exploration, a challenge that we demonstrate many recent proposals for LLM agent designs struggle to contend with. Meanwhile, classic algorithms from the RL literature known to gracefully address exploration require technical machinery that can be challenging to operationalize in purely natural language settings. In this work, rather than relying on finetuning or in-context learning to coax LLMs into implicitly imitating a RL algorithm, we illustrate how LLMs can be used to explicitly implement an existing RL algorithm (Posterior Sampling for Reinforcement Learning) whose capacity for statistically-efficient exploration is already well-studied. We offer empirical results demonstrating how our LLM-based implementation of a known, data-efficient RL algorithm can be considerably more effective in natural language tasks that demand prudent exploration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google