Reinforcement Learning with Token-level Feedback for Controllable Text Generation

要約

実際のアプリケーションの要件を満たすには、大規模言語モデル (LLM) の世代を制御することが不可欠です。
これまでの研究では、制御可能なテキスト生成に強化学習 (RL) を導入することが試みられてきましたが、既存の手法のほとんどは過剰適合の問題 (微調整ベースの手法) や意味論の崩壊 (後処理手法) に悩まされています。
ただし、現在の RL 手法は一般に、粒度の粗い (文/段落レベル) フィードバックによって導かれており、文内の意味上のねじれや進行により最適なパフォーマンスが得られない可能性があります。
これに取り組むために、私たちは TOLE という名前の新しい強化学習アルゴリズムを提案します。これは、制御可能なテキスト生成に対するトークンレベルの報酬を定式化し、「最初に量子化してからノイズ」パラダイムを採用して RL アルゴリズムの堅牢性を強化します。さらに、TOLE は次のことができます。
わずかな計算コストで複数の制約に柔軟に拡張できます。
実験結果は、私たちのアルゴリズムが単一属性制御タスクと複数属性制御タスクの両方で優れたパフォーマンスを達成できることを示しています。
https://github.com/WindyLee0822/CTG でコードをリリースしました。

要約(オリジナル)

To meet the requirements of real-world applications, it is essential to control generations of large language models (LLMs). Prior research has tried to introduce reinforcement learning (RL) into controllable text generation while most existing methods suffer from overfitting issues (finetuning-based methods) or semantic collapse (post-processing methods). However, current RL methods are generally guided by coarse-grained (sentence/paragraph-level) feedback, which may lead to suboptimal performance owing to semantic twists or progressions within sentences. To tackle that, we propose a novel reinforcement learning algorithm named TOLE which formulates TOken-LEvel rewards for controllable text generation, and employs a ‘first-quantize-then-noise’ paradigm to enhance the robustness of the RL algorithm.Furthermore, TOLE can be flexibly extended to multiple constraints with little computational expense. Experimental results show that our algorithm can achieve superior performance on both single-attribute and multi-attribute control tasks. We have released our codes at https://github.com/WindyLee0822/CTG

arxiv情報

提供元, 利用サービス

arxiv.jp, Google