Controlling Large Language Model with Latent Actions

要約

強化学習（RL）を使用して、大規模な言語モデル（LLMS）を下流のタスクに適応させることは、効果的なアプローチであることが証明されています。
ただし、LLMは、特にアクション空間を定義するという点で、RLトレーニング用のエージェントの構造を本質的に定義していません。
このペーパーでは、LLMのRLの制御性と調査を強化するためのコンパクトな潜在アクションスペースを学習します。
潜在的なアクション空間を事前に訓練されたLLMに統合するフレームワークである潜在アクション（COLA）を使用して、大規模な言語モデルを制御することを提案します。
ラマ-3.1-8Bモデルにコーラを適用します。
私たちの実験は、トークンレベルのアクションを備えたRLと比較して、コーラの潜在的なアクションにより、テキスト生成の意味的な多様性が高まることを示しています。
ダウンストリームタスクを強化するために、RLとColaがMath500ベンチマークで42.4のスコアを達成し、ベースラインスコア38.2を超え、モンテカルロツリー検索バリアントで増強すると68.2に達することを示します。
さらに、RLとColaは、ベースラインとは異なり、事前に訓練されたLLMの機能を分解することなく、エージェントベースのタスクのパフォーマンスを一貫して改善します。
最後に、COLAは、RLによってLLMSの強化された思考プロンプトを含むタスクで計算時間を半分に短縮します。
これらの結果は、ダウンストリームアプリケーションに対するLLMSのRLベースの適応を進める可能性を強調しています。

要約(オリジナル)

Adapting Large Language Models (LLMs) to downstream tasks using Reinforcement Learning (RL) has proven to be an effective approach. However, LLMs do not inherently define the structure of an agent for RL training, particularly in terms of defining the action space. This paper studies learning a compact latent action space to enhance the controllability and exploration of RL for LLMs. We propose Controlling Large Language Models with Latent Actions (CoLA), a framework that integrates a latent action space into pre-trained LLMs. We apply CoLA to the Llama-3.1-8B model. Our experiments demonstrate that, compared to RL with token-level actions, CoLA’s latent action enables greater semantic diversity in text generation. For enhancing downstream tasks, we show that CoLA with RL achieves a score of 42.4 on the math500 benchmark, surpassing the baseline score of 38.2, and reaches 68.2 when augmented with a Monte Carlo Tree Search variant. Furthermore, CoLA with RL consistently improves performance on agent-based tasks without degrading the pre-trained LLM’s capabilities, unlike the baseline. Finally, CoLA reduces computation time by half in tasks involving enhanced thinking prompts for LLMs by RL. These results highlight CoLA’s potential to advance RL-based adaptation of LLMs for downstream applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google