Towards Aligning Language Models with Textual Feedback

要約

ALT（テキストフィードバックとの整合）を提示します。これは、言語モデルをテキストで表現されたユーザー設定に合わせるアプローチです。
テキストはより大きな表現力を提供し、ユーザーが単純な比較選好よりも豊かなフィードバックを提供できるようにし、この豊かなフィードバックはより効率的で効果的なアライメントにつながる可能性があると主張します。
Altは、テキストフィードバックに生成を条件に条件付けすることにより、モデルを整列させます。
私たちの方法は、言語モデリング手法のみに依存しており、最小限のハイパーパラメーターチューニングを必要としますが、RLベースのアライメントアルゴリズムの主な利点を提示し、テキストフィードバックから効果的に学習できます。
毒性削減、要約、ダイアログ応答の生成など、さまざまなタスクにわたるテキストフィードバックの有効性と効率を調査します。
ALTは、サンプルの20％のみで要約のパフォーマンスを一致させることができる一方で、毒性の低下のタスクに対してPPOを上回ることがわかります。
また、既存のLLMが提供するフィードバックでALTを使用する方法を探り、制約されていないテキストフィードバックを提供するLLMを探索します。
また、モデルを自然言語のフィードバックに合わせるための将来の方向性を概説します。

要約(オリジナル)

We present ALT (ALignment with Textual feedback), an approach that aligns language models with user preferences expressed in text. We argue that text offers greater expressiveness, enabling users to provide richer feedback than simple comparative preferences and this richer feedback can lead to more efficient and effective alignment. ALT aligns the model by conditioning its generation on the textual feedback. Our method relies solely on language modeling techniques and requires minimal hyper-parameter tuning, though it still presents the main benefits of RL-based alignment algorithms and can effectively learn from textual feedback. We explore the efficacy and efficiency of textual feedback across different tasks such as toxicity reduction, summarization, and dialog response generation. We find that ALT outperforms PPO for the task of toxicity reduction while being able to match its performance on summarization with only 20% of the samples. We also explore how ALT can be used with feedback provided by an existing LLM where we explore an LLM providing constrained and unconstrained textual feedback. We also outline future directions to align models with natural language feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google