ComPO: Preference Alignment via Comparison Oracles

要約

直接アライメント方法は、大規模な言語モデル（LLM）を人間の好みに合わせてますます使用されています。
ただし、これらの方法は、冗長性と尤度変位の問題に悩まされています。これは、好ましい応答と分散した応答に対して同様の可能性を誘発する騒々しい選好ペアによって駆動される可能性があります。
この論文の貢献は2つあります。
まず、比較のオラクルに基づいて新しい選好アライメント方法を提案し、その基本スキームの収束保証を提供します。
第二に、いくつかのヒューリスティックを使用して方法を改善し、実験を実施して、ノイズの多い好みペアを使用してLLMSのパフォーマンスを改善する際の実用的なスキームの柔軟性と互換性を実証します。
評価は、ベンチマーク（Alpacaeval 2、MTベンチおよびアリーナハード）を使用して、複数のベースおよび命令チューニングモデル（Mistral-7B、Llama-3-8B、Gemma-2-9B）にわたって行われます。
実験結果は、既存の直接アライメント方法の制限に対処するための代替としての方法の有効性を示しています。
私たちの作品のハイライトは、\ citet {razin-2025-unintentional}の最近の調査結果を補完する明確な尤度マージンを持つ優先ペアのための専門的な方法を設計することの重要性を証明することです。

要約(オリジナル)

Direct alignment methods are increasingly used for aligning large language models (LLMs) with human preferences. However, these methods suffer from the issues of verbosity and likelihood displacement, which can be driven by the noisy preference pairs that induce similar likelihood for preferred and dispreferred responses. The contributions of this paper are two-fold. First, we propose a new preference alignment method based on comparison oracles and provide the convergence guarantee for its basic scheme. Second, we improve our method using some heuristics and conduct the experiments to demonstrate the flexibility and compatibility of practical scheme in improving the performance of LLMs using noisy preference pairs. Evaluations are conducted across multiple base and instruction-tuned models (Mistral-7B, Llama-3-8B and Gemma-2-9B) with benchmarks (AlpacaEval 2, MT-Bench and Arena-Hard). Experimental results show the effectiveness of our method as an alternative to addressing the limitations of existing direct alignment methods. A highlight of our work is that we evidence the importance of designing specialized methods for preference pairs with distinct likelihood margin, which complements the recent findings in \citet{Razin-2025-Unintentional}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google