Continual Learning of Diffusion Models with Generative Distillation

要約

拡散モデルは、画像合成において最先端のパフォーマンスを実現する強力な生成モデルです。
ただし、それらをトレーニングするには、大量のデータと計算リソースが必要です。
継続的な学習により、新しいタスクを段階的に学習して知識を蓄積できるため、トレーニングされたモデルをさらなる学習に再利用できるようになります。
潜在的に適切な継続学習アプローチの 1 つは生成リプレイです。これは、前のタスクでトレーニングされた生成モデルのコピーが、現在のタスクのデータとインターリーブされた合成データを生成します。
ただし、拡散モデルに標準的な生成再生を適用すると、ノイズ除去機能が壊滅的に失われます。
この論文では、拡散モデルの逆プロセス全体を蒸留するアプローチである生成蒸留を提案します。
私たちのアプローチは、計算コストをわずかに増加させるだけで、生成再生の継続的な学習パフォーマンスを大幅に向上させることを実証します。

要約(オリジナル)

Diffusion models are powerful generative models that achieve state-of-the-art performance in image synthesis. However, training them demands substantial amounts of data and computational resources. Continual learning would allow for incrementally learning new tasks and accumulating knowledge, thus enabling the reuse of trained models for further learning. One potentially suitable continual learning approach is generative replay, where a copy of a generative model trained on previous tasks produces synthetic data that are interleaved with data from the current task. However, standard generative replay applied to diffusion models results in a catastrophic loss in denoising capabilities. In this paper, we propose generative distillation, an approach that distils the entire reverse process of a diffusion model. We demonstrate that our approach substantially improves the continual learning performance of generative replay with only a modest increase in the computational costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google