Confronting Reward Overoptimization for Diffusion Models: A Perspective of Inductive and Primacy Biases

要約

拡散モデルと人間の好みの間のギャップを埋めることは、拡散モデルを実際の生成ワークフローに統合するために重要です。
下流の報酬モデルの最適化は有望な調整戦略として浮上していますが、学習済み報酬モデルによる過剰な最適化のリスクに関して懸念が生じ、グラウンドトゥルースのパフォーマンスが損なわれる可能性があります。
この研究では、帰納バイアスと主バイアスの両方のレンズを通して、拡散モデルの調整における報酬の過剰最適化の問題に直面します。
まず、過剰最適化の潜在的な原因として、拡散モデルの複数ステップのノイズ除去プロセスに固有の時間的誘導バイアスから現在の手法が乖離していることを特定します。
次に、驚くべきことに、批評家モデルの休止状態のニューロンが過剰最適化に対する正則化として機能する一方、アクティブなニューロンはこの設定での優位性バイアスを反映していることがわかりました。
これらの観察に動機づけられて、我々は、中間タイムステップの時間的帰納的バイアスを利用するポリシー勾配アルゴリズムであるクリティカルアクティブニューロンリセット（TDPO-R）による時間拡散ポリシー最適化と、優位性を打ち消すためにアクティブニューロンをターゲットとする新しいリセット戦略を提案します。
バイアス。
経験的な結果は、報酬の過剰最適化を軽減する際のアルゴリズムの優れた有効性を示しています。

要約(オリジナル)

Bridging the gap between diffusion models and human preferences is crucial for their integration into practical generative workflows. While optimizing downstream reward models has emerged as a promising alignment strategy, concerns arise regarding the risk of excessive optimization with learned reward models, which potentially compromises ground-truth performance. In this work, we confront the reward overoptimization problem in diffusion model alignment through the lenses of both inductive and primacy biases. We first identify the divergence of current methods from the temporal inductive bias inherent in the multi-step denoising process of diffusion models as a potential source of overoptimization. Then, we surprisingly discover that dormant neurons in our critic model act as a regularization against overoptimization, while active neurons reflect primacy bias in this setting. Motivated by these observations, we propose Temporal Diffusion Policy Optimization with critic active neuron Reset (TDPO-R), a policy gradient algorithm that exploits the temporal inductive bias of intermediate timesteps, along with a novel reset strategy that targets active neurons to counteract the primacy bias. Empirical results demonstrate the superior efficacy of our algorithms in mitigating reward overoptimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google