Capacity Control is an Effective Memorization Mitigation Mechanism in Text-Conditional Diffusion Models

要約

この研究では、微調整中にモデルの能力を制御することで、拡散モデルの暗記を効果的に軽減できるという説得力のある証拠を示します。
具体的には、事前学習微調整パラダイム内でパラメーター効率の良い微調整 (PEFT) を採用すると、従来の完全な微調整アプローチと比較して、暗記が大幅に削減されることを実証します。
私たちの実験では、胸部 X 線写真とそれに対応するレポートの画像とテキストのペアで構成される MIMIC データセットを利用します。
さまざまな記憶および生成品質の指標を通じて評価された結果は、PEFT が記憶を低下させるだけでなく、下流の生成品質も向上させることを示しています。
さらに、PEFT 手法を既存の暗記軽減手法とシームレスに組み合わせて、さらなる改善を図ることができます。
実験のコードは https://github.com/Raman1121/Diffusion_Memorization_HPO から入手できます。

要約(オリジナル)

In this work, we present compelling evidence that controlling model capacity during fine-tuning can effectively mitigate memorization in diffusion models. Specifically, we demonstrate that adopting Parameter-Efficient Fine-Tuning (PEFT) within the pre-train fine-tune paradigm significantly reduces memorization compared to traditional full fine-tuning approaches. Our experiments utilize the MIMIC dataset, which comprises image-text pairs of chest X-rays and their corresponding reports. The results, evaluated through a range of memorization and generation quality metrics, indicate that PEFT not only diminishes memorization but also enhances downstream generation quality. Additionally, PEFT methods can be seamlessly combined with existing memorization mitigation techniques for further improvement. The code for our experiments is available at: https://github.com/Raman1121/Diffusion_Memorization_HPO

arxiv情報

提供元, 利用サービス

arxiv.jp, Google