Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization

要約

反復的な好みの最適化は、最近、大規模言語モデル (LLM) の事実上のトレーニング パラダイムの 1 つになりましたが、ループ内で生成されるノイズの多い好みデータが多すぎるため、パフォーマンスは依然として圧倒的です。
この問題に対処するために、信頼性の高いフィードバックによって LLM を自己進化させる \textbf{U}ncertainty-enhanced \textbf{P}reference \textbf{O}ptimization (UPO) フレームワークを紹介します。
重要なアイデアは、ペアごとの不確実性推定と賢明に信頼できるフィードバック サンプリングを実行することで、現在のポリシーと報酬モデルから得られるノイズの多い嗜好データを軽減することです。
この目標を達成するために、ベイジアン ニューラル ネットワーク (BNN) にモンテカルロ (MC) ドロップアウトを組み込んで、LLM ポリシーから導出された選好データの不確実性推定を実行する推定モデルを導入します。
報酬スコアに基づいて生成された応答を直接フィルタリングする既存の方法と比較して、推定器はペアワイズ方式でモデルの不確実性に焦点を当て、報酬モデルの確証バイアス問題を効果的に回避します。
さらに、選好最適化の堅牢性を向上させ、LLM が高い報酬と確実性の両方を備えた応答を生成することを促進するために、不確実性を強化した自己進化アルゴリズムも提案します。
複数のベンチマークにわたる広範な実験により、私たちのフレームワークがノイズの問題を大幅に軽減し、反復的な優先順位の最適化のパフォーマンスを向上させることが実証されました。

要約(オリジナル)

Iterative preference optimization has recently become one of the de-facto training paradigms for large language models (LLMs), but the performance is still underwhelming due to too much noisy preference data yielded in the loop. To combat this issue, we present an \textbf{U}ncertainty-enhanced \textbf{P}reference \textbf{O}ptimization (UPO) framework to make the LLM self-evolve with reliable feedback. The key idea is mitigating the noisy preference data derived from the current policy and reward models by performing pair-wise uncertainty estimation and judiciously reliable feedback sampling. To reach this goal, we thus introduce an estimator model, which incorporates Monte Carlo (MC) dropout in Bayesian neural network (BNN) to perform uncertainty estimation for the preference data derived from the LLM policy. Compared to the existing methods that directly filter generated responses based on the reward score, the estimator focuses on the model uncertainty in a pair-wise manner and effectively bypasses the confirmation bias problem of the reward model. Additionally, we also propose an uncertainty-enhanced self-evolution algorithm to improve the robustness of preference optimization and encourage the LLM to generate responses with both high reward and certainty. Extensive experiments over multiple benchmarks demonstrate that our framework substantially alleviates the noisy problem and improves the performance of iterative preference optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google