Pretraining Language Models with Human Preferences

要約

言語モデル (LM) は、インターネット テキストを模倣するよう事前にトレーニングされています。これには、LM によって生成された場合に人間の好みに違反するコンテンツ (虚偽、不快なコメント、個人を特定できる情報、低品質またはバグのあるコードなど) が含まれます。
ここでは、人間の好みに合わせたテキストを生成するように誘導する方法で、LM を事前トレーニングするための代替の目的を探ります。
3 つのタスクにわたる人間のフィードバックによる事前トレーニングの 5 つの目標をベンチマークし、それらが事前トレーニング済み LM の調整と機能の間のトレードオフにどのように影響するかを研究します。
調査したものの中で、パレート最適でシンプルなアプローチを見つけました。条件付きトレーニング、または報酬モデルによって与えられた人間の嗜好スコアを条件とするトークンに対する分布の学習です。
条件付きトレーニングは、プロンプトなしで生成する場合と、敵対者が選択したプロンプトを使用する場合の両方で、望ましくないコンテンツの割合を最大 1 桁削減します。
さらに、条件付きトレーニングは、タスク固有の微調整の前後の両方で、標準の LM 事前トレーニングの下流のタスク パフォーマンスを維持します。
人間のフィードバックを使用した事前トレーニングは、標準的な LM 事前トレーニングの後にフィードバックを使用して微調整する、つまり、望ましくない動作を学習してから学習を解除するよりも、好みの満足度がはるかに高くなります。
私たちの結果は、LMを事前トレーニングするときに模倣学習を超えて、トレーニングの開始から人間の好みを組み込む必要があることを示唆しています。

要約(オリジナル)

Language models (LMs) are pretrained to imitate internet text, including content that would violate human preferences if generated by an LM: falsehoods, offensive comments, personally identifiable information, low-quality or buggy code, and more. Here, we explore alternative objectives for pretraining LMs in a way that also guides them to generate text aligned with human preferences. We benchmark five objectives for pretraining with human feedback across three tasks and study how they affect the trade-off between alignment and capabilities of pretrained LMs. We find a Pareto-optimal and simple approach among those we explored: conditional training, or learning distribution over tokens conditional on their human preference scores given by a reward model. Conditional training reduces the rate of undesirable content by up to an order of magnitude, both when generating without a prompt and with an adversarially-chosen prompt. Moreover, conditional training maintains the downstream task performance of standard LM pretraining, both before and after task-specific finetuning. Pretraining with human feedback results in much better preference satisfaction than standard LM pretraining followed by finetuning with feedback, i.e., learning and then unlearning undesirable behavior. Our results suggest that we should move beyond imitation learning when pretraining LMs and incorporate human preferences from the start of training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google