Iterative Ensemble Training with Anti-Gradient Control for Mitigating Memorization in Diffusion Models

要約

拡散モデルは、斬新で高品質なサンプルを生成する驚異的な能力で知られていますが、最近、そのデータ記憶動作によりプライバシー リスクを引き起こす懸念が生じています。
メモリ軽減のための最近のアプローチは、クロスモーダル生成タスクにおけるテキスト モダリティの問題のみに焦点を当てているか、データ拡張戦略を利用しています。
この論文では、暗記を軽減するためのより一般的で基本的な、視覚モダリティの観点から拡散モデルのための新しいトレーニング フレームワークを提案します。
拡散モデル パラメーターに保存された情報を忘れやすくするために、複数のモデルをトレーニングするためにデータを複数のシャードに分割し、これらのモデル パラメーターを断続的に集約する反復アンサンブル トレーニング戦略を提案します。
さらに、損失の実際の分析により、記憶に残りやすい画像のトレーニング損失は明らかに低い傾向があることが示されています。
したがって、記憶を避けるために、現在のミニバッチからより低い損失値を持つサンプルを除外するアンチグラジエント制御方法を提案します。
私たちの方法の有効性を示すために、4 つのデータセットに対する広範な実験と分析が行われ、結果は、私たちの方法がパフォーマンスをわずかに向上させながらメモリ容量を削減することに成功したことを示しています。
さらに、計算コストを節約するために、限られたエポックでよく訓練された拡散モデルを微調整するために私たちの方法を適用することに成功し、私たちの方法の適用性を実証しました。
コードは https://github.com/liuxiao-guan/IET_AGC で入手できます。

要約(オリジナル)

Diffusion models, known for their tremendous ability to generate novel and high-quality samples, have recently raised concerns due to their data memorization behavior, which poses privacy risks. Recent approaches for memory mitigation either only focused on the text modality problem in cross-modal generation tasks or utilized data augmentation strategies. In this paper, we propose a novel training framework for diffusion models from the perspective of visual modality, which is more generic and fundamental for mitigating memorization. To facilitate forgetting of stored information in diffusion model parameters, we propose an iterative ensemble training strategy by splitting the data into multiple shards for training multiple models and intermittently aggregating these model parameters. Moreover, practical analysis of losses illustrates that the training loss for easily memorable images tends to be obviously lower. Thus, we propose an anti-gradient control method to exclude the sample with a lower loss value from the current mini-batch to avoid memorizing. Extensive experiments and analysis on four datasets are conducted to illustrate the effectiveness of our method, and results show that our method successfully reduces memory capacity while even improving the performance slightly. Moreover, to save the computing cost, we successfully apply our method to fine-tune the well-trained diffusion models by limited epochs, demonstrating the applicability of our method. Code is available in https://github.com/liuxiao-guan/IET_AGC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google