Confronting Reward Overoptimization for Diffusion Models: A Perspective of Inductive and Primacy Biases

要約

拡散モデルと人間の好みの間のギャップを埋めることは、拡散モデルを実際の生成ワークフローに統合するために重要です。
下流の報酬モデルの最適化は有望な調整戦略として浮上していますが、学習済み報酬モデルによる過剰な最適化のリスクに関して懸念が生じ、グラウンドトゥルースのパフォーマンスが損なわれる可能性があります。
この研究では、帰納バイアスと主バイアスの両方のレンズを通して、拡散モデルの調整における報酬の過剰最適化の問題に直面します。
まず、報酬の過剰最適化の潜在的な原因として、現在の手法と拡散モデルの複数ステップのノイズ除去プロセスに固有の時間的誘導バイアスとの間の不一致を特定します。
次に、驚くべきことに、批評家モデルの休止状態のニューロンが報酬の過剰最適化に対する正則化として機能する一方、アクティブなニューロンは優位性バイアスを反映していることがわかりました。
これらの観察に動機づけられて、我々は、拡散モデルの時間的帰納的バイアスを利用し、活性ニューロンに起因する優位性バイアスを軽減するポリシー勾配アルゴリズムである、批判的活性ニューロンリセットによる時間拡散ポリシー最適化（TDPO-R）を提案する。
経験的な結果は、報酬の過剰最適化を軽減する上での私たちの方法の優れた有効性を示しています。
コードは https://github.com/ZiyiZhang27/tdpo で入手できます。

要約(オリジナル)

Bridging the gap between diffusion models and human preferences is crucial for their integration into practical generative workflows. While optimizing downstream reward models has emerged as a promising alignment strategy, concerns arise regarding the risk of excessive optimization with learned reward models, which potentially compromises ground-truth performance. In this work, we confront the reward overoptimization problem in diffusion model alignment through the lenses of both inductive and primacy biases. We first identify a mismatch between current methods and the temporal inductive bias inherent in the multi-step denoising process of diffusion models, as a potential source of reward overoptimization. Then, we surprisingly discover that dormant neurons in our critic model act as a regularization against reward overoptimization while active neurons reflect primacy bias. Motivated by these observations, we propose Temporal Diffusion Policy Optimization with critic active neuron Reset (TDPO-R), a policy gradient algorithm that exploits the temporal inductive bias of diffusion models and mitigates the primacy bias stemming from active neurons. Empirical results demonstrate the superior efficacy of our methods in mitigating reward overoptimization. Code is avaliable at https://github.com/ZiyiZhang27/tdpo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google