Boosting Diffusion Models with Moving Average Sampling in Frequency Domain

要約

拡散モデルは最近、画像生成に強力な革命をもたらしました。
これらのモデルのほとんどは、優れた生成機能を示していますが、次のサンプルのノイズを除去するために現在のサンプルに依存しているため、ノイズ除去が不安定になる可能性があります。
このペーパーでは、反復ノイズ除去プロセスをモデルの最適化として再解釈し、移動平均メカニズムを活用して以前のすべてのサンプルをアンサンブルします。
異なるタイムステップでノイズ除去されたサンプルに単純に移動平均を適用するのではなく、最初にノイズ除去されたサンプルをデータ空間にマッピングしてから、移動平均を実行して、タイムステップ間の分布のシフトを回避します。
拡散モデルが低周波成分から高周波の詳細まで回復を進化させることを考慮して、サンプルをさらに異なる周波数成分に分解し、各成分に対して個別に移動平均を実行します。
この完全なアプローチを「周波数領域の移動平均サンプリング (MASF)」と名付けます。
MASF は、主流の事前トレーニング済み拡散モデルとサンプリング スケジュールにシームレスに統合できます。
無条件拡散モデルと条件付き拡散モデルの両方に関する広範な実験により、MASF が追加の複雑さコストがほぼ無視できる程度で、ベースラインと比較して優れたパフォーマンスをもたらすことが実証されました。

要約(オリジナル)

Diffusion models have recently brought a powerful revolution in image generation. Despite showing impressive generative capabilities, most of these models rely on the current sample to denoise the next one, possibly resulting in denoising instability. In this paper, we reinterpret the iterative denoising process as model optimization and leverage a moving average mechanism to ensemble all the prior samples. Instead of simply applying moving average to the denoised samples at different timesteps, we first map the denoised samples to data space and then perform moving average to avoid distribution shift across timesteps. In view that diffusion models evolve the recovery from low-frequency components to high-frequency details, we further decompose the samples into different frequency components and execute moving average separately on each component. We name the complete approach ‘Moving Average Sampling in Frequency domain (MASF)’. MASF could be seamlessly integrated into mainstream pre-trained diffusion models and sampling schedules. Extensive experiments on both unconditional and conditional diffusion models demonstrate that our MASF leads to superior performances compared to the baselines, with almost negligible additional complexity cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google