Contrastive Policy Gradient: Aligning LLMs on sequence-level scores in a supervised-friendly fashion

要約

強化学習 (RL) は、人間の判断とよりよく一致するように、嗜好データからトレーニングされた報酬モデルを使用して大規模言語モデル (LLM) を微調整するために使用されてきました。
最近導入された直接アライメント方法は、多くの場合、より単純で、より安定しており、計算が軽量であり、これをより直接的に達成できます。
ただし、これらのアプローチでは任意の報酬を最適化することはできず、LLM にとって関心のある報酬は好みに基づくものだけではありません (コード生成のための単体テストや要約のためのテキスト含意など)。
RL の微調整は通常、さまざまなポリシー勾配を使用して行われ、ポリシーに一致するサンプルまたはポリシーに近いサンプルが必要となり、コストのかかる生成が必要になります。
私たちは、ポリシー外のデータからでも最適なポリシーを推定できる、シンプルで数学的原理に基づいた新しい RL アルゴリズムである Contrastive Policy Gradient (CoPG) を紹介します。
これは、重要なサンプリング手法に依存せず、（適切な）州ベースラインを使用することの重要性を強調する、オフポリシーのポリシー勾配アプローチと見なすことができます。
直接調整手法 IPO (アイデンティティ優先最適化) と古典的なポリシー勾配を一般化するこのアプローチを示します。
提案された CoPG をおもちゃの盗賊問題で実験して、その特性を説明するとともに、実験の目的のグラウンド トゥルースと考えられる学習済み報酬関数を使用して、要約タスクで LLM を微調整します。

要約(オリジナル)

Reinforcement Learning (RL) has been used to finetune Large Language Models (LLMs) using a reward model trained from preference data, to better align with human judgment. The recently introduced direct alignment methods, which are often simpler, more stable, and computationally lighter, can more directly achieve this. However, these approaches cannot optimize arbitrary rewards, and the preference-based ones are not the only rewards of interest for LLMs (eg., unit tests for code generation or textual entailment for summarization, among others). RL-finetuning is usually done with a variation of policy gradient, which calls for on-policy or near-on-policy samples, requiring costly generations. We introduce Contrastive Policy Gradient, or CoPG, a simple and mathematically principled new RL algorithm that can estimate the optimal policy even from off-policy data. It can be seen as an off-policy policy gradient approach that does not rely on important sampling techniques and highlights the importance of using (the right) state baseline. We show this approach to generalize the direct alignment method IPO (identity preference optimization) and classic policy gradient. We experiment with the proposed CoPG on a toy bandit problem to illustrate its properties, as well as for finetuning LLMs on a summarization task, using a learned reward function considered as ground truth for the purpose of the experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google