LLMs are Greedy Agents: Effects of RL Fine-tuning on Decision-Making Abilities

要約

大規模な言語モデル（LLMS）の成功は、さまざまなエージェントアプリケーションへの関心を呼び起こしました。
重要な仮説は、LLMSが常識と考え方の連鎖（COT）推論を活用し、複雑なドメインを効果的に調査し、効率的に解決できるということです。
しかし、LLMエージェントは、最適下の探査と知識のギャップに苦しんでいることがわかっています。これは、モデルに存在する知識に効果的に行動することができません。
この作業では、LLMSが意思決定シナリオで最適に機能する理由を体系的に研究します。
特に、貪欲さ、周波数バイアス、知識のギャップという3つの一般的な障害モードを詳しく調べます。
自己生成されたCOTの理論的根拠に関する補強学習（RL）を介して微調整することにより、これらの欠点の緩和を提案します。
マルチアームの盗賊、コンテキストバンディット、およびTIC-TAC-Toeの実験は、RL微調整が探索を増やし、知識のギャップを絞り込むことによりLLMの意思決定能力を高めることを示しています。
最後に、意思決定のためにLLMのより効果的な微調整を可能にするために、$ \ epsilon $ greedyなどの古典的な探索メカニズムと、自己修正や自己整合などのLLM固有のアプローチの両方を研究します。

要約(オリジナル)

The success of Large Language Models (LLMs) has sparked interest in various agentic applications. A key hypothesis is that LLMs, leveraging common sense and Chain-of-Thought (CoT) reasoning, can effectively explore and efficiently solve complex domains. However, LLM agents have been found to suffer from sub-optimal exploration and the knowing-doing gap, the inability to effectively act on knowledge present in the model. In this work, we systematically study why LLMs perform sub-optimally in decision-making scenarios. In particular, we closely examine three prevalent failure modes: greediness, frequency bias, and the knowing-doing gap. We propose mitigation of these shortcomings by fine-tuning via Reinforcement Learning (RL) on self-generated CoT rationales. Our experiments across multi-armed bandits, contextual bandits, and Tic-tac-toe, demonstrate that RL fine-tuning enhances the decision-making abilities of LLMs by increasing exploration and narrowing the knowing-doing gap. Finally, we study both classic exploration mechanisms, such as $\epsilon$-greedy, and LLM-specific approaches, such as self-correction and self-consistency, to enable more effective fine-tuning of LLMs for decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google