IPO: Your Language Model is Secretly a Preference Classifier

要約

人間のフィードバック（RLHF）からの強化学習は、大規模な言語モデル（LLM）を人間の好みに合わせるための主要な方法として浮上しています。
LLMは人間レベルの整合性を達成することができますが、外部の報酬モデルまたは人間標識の好みに依存するため、多くの場合、重要な計算および財務コストが発生します。
この作業では、生成LLMを優先分類器として活用する代替アプローチである暗黙の選好最適化（IPO）を提案します。
報酬ベンチを使用してLLMの優先分類能力について包括的な評価を実施し、さまざまなサイズ、アーキテクチャ、トレーニングレベルにわたってモデルを評価して仮説を検証します。
さらに、特定の命令の複数の応答を生成し、直接優先最適化（DPO）ベースのトレーニングの優先分類器としてモデル自体を採用することにより、LLMSの自己改善能力を調査します。
私たちの調査結果は、IPOを通じてトレーニングされたモデルが、好みを得るために最先端の報酬モデルを利用しているモデルに匹敵するパフォーマンスを達成することを示しています。

要約(オリジナル)

Reinforcement learning from human feedback (RLHF) has emerged as the primary method for aligning large language models (LLMs) with human preferences. While it enables LLMs to achieve human-level alignment, it often incurs significant computational and financial costs due to its reliance on training external reward models or human-labeled preferences. In this work, we propose Implicit Preference Optimization (IPO), an alternative approach that leverages generative LLMs as preference classifiers, thereby reducing the dependence on external human feedback or reward models to obtain preferences. We conduct a comprehensive evaluation on the preference classification ability of LLMs using RewardBench, assessing models across different sizes, architectures, and training levels to validate our hypothesis. Furthermore, we investigate the self-improvement capabilities of LLMs by generating multiple responses for a given instruction and employing the model itself as a preference classifier for Direct Preference Optimization (DPO)-based training. Our findings demonstrate that models trained through IPO achieve performance comparable to those utilizing state-of-the-art reward models for obtaining preferences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google