Direct Language Model Alignment from Online AI Feedback

要約

DPOのような嗜好からの直接アライメント（DAP）手法は、最近、人間のフィードバックからの強化学習（RLHF）に代わる効率的な手法として登場した。しかし、DAP手法で使用される嗜好データセットは、通常、訓練に先立って収集され、更新されることはないため、フィードバックは純粋にオフラインである。さらに、これらのデータセットの応答は、アライメントされる言語モデルとは異なる言語モデルからサンプリングされることが多く、モデルは訓練中に進化するため、アライメント段階は必然的にオフポリシーとなる。本研究では、オンラインフィードバックが鍵であり、DAP手法を改善すると仮定する。我々の手法であるオンラインAIフィードバック(OAIF)は、LLMをアノテータとして使用する。各訓練反復において、我々は現在のモデルから2つの応答をサンプリングし、LLMアノテータにどちらが好ましいかを選択するよう促す。その単純さにもかかわらず、OAIFがオフラインのDAPとRLHFの両手法を凌駕することを、いくつかのタスクにおける人間評価により実証する。さらに、OAIFで活用されるフィードバックは、LLMアノテーターへの指示プロンプトによって容易に制御可能であることを示す。

要約(オリジナル)

Direct alignment from preferences (DAP) methods, such as DPO, have recently emerged as efficient alternatives to reinforcement learning from human feedback (RLHF), that do not require a separate reward model. However, the preference datasets used in DAP methods are usually collected ahead of training and never updated, thus the feedback is purely offline. Moreover, responses in these datasets are often sampled from a language model distinct from the one being aligned, and since the model evolves over training, the alignment phase is inevitably off-policy. In this study, we posit that online feedback is key and improves DAP methods. Our method, online AI feedback (OAIF), uses an LLM as annotator: on each training iteration, we sample two responses from the current model and prompt the LLM annotator to choose which one is preferred, thus providing online feedback. Despite its simplicity, we demonstrate via human evaluation in several tasks that OAIF outperforms both offline DAP and RLHF methods. We further show that the feedback leveraged in OAIF is easily controllable, via instruction prompts to the LLM annotator.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL