MemControl: Mitigating Memorization in Diffusion Models via Automated Parameter Selection

要約

拡散モデルは、トレーニング データによく似た画像の生成に優れていますが、データの暗記の影響も受けやすく、特に医療画像などの機密性の高い領域では、プライバシー、倫理、法的な懸念が生じます。
私たちは、この記憶は深いモデルの過剰パラメータ化に起因すると仮説を立て、微調整中にモデルの容量を正規化することでこの問題を軽減できることを提案します。
まず、パラメータ効率の良い微調整 (PEFT) によってモデルの容量を調整すると、暗記がある程度軽減されますが、高品質な生成のために微調整される正確なパラメータ サブセットの特定がさらに必要になることが経験的に示されています。
これらのサブセットを特定するために、微調整中の報酬として記憶と生成品質メトリクスを使用してパラメータ選択を自動化する、バイレベル最適化フレームワーク MemControl を導入します。
MemControl を通じて発見されたパラメーター サブセットは、生成品質と記憶の間で優れたトレードオフを実現します。
医療画像生成のタスクに関して、私たちのアプローチは、わずか 0.019% のモデル パラメーターを微調整することで、既存の最先端の暗記軽減戦略を上回ります。
さらに、発見されたパラメータのサブセットが非医療領域にも応用可能であることを実証します。
私たちのフレームワークは大規模なデータセットに拡張可能で、報酬関数に依存せず、さらに記憶を軽減するために既存のアプローチと統合できます。
私たちの知る限り、これは医療画像の記憶を実証的に評価し、的を絞った普遍的な緩和戦略を提案した最初の研究です。
コードは https://github.com/Raman1121/Diffusion_Memorization_HPO で入手できます。

要約(オリジナル)

Diffusion models excel in generating images that closely resemble their training data but are also susceptible to data memorization, raising privacy, ethical, and legal concerns, particularly in sensitive domains such as medical imaging. We hypothesize that this memorization stems from the overparameterization of deep models and propose that regularizing model capacity during fine-tuning can mitigate this issue. Firstly, we empirically show that regulating the model capacity via Parameter-efficient fine-tuning (PEFT) mitigates memorization to some extent, however, it further requires the identification of the exact parameter subsets to be fine-tuned for high-quality generation. To identify these subsets, we introduce a bi-level optimization framework, MemControl, that automates parameter selection using memorization and generation quality metrics as rewards during fine-tuning. The parameter subsets discovered through MemControl achieve a superior tradeoff between generation quality and memorization. For the task of medical image generation, our approach outperforms existing state-of-the-art memorization mitigation strategies by fine-tuning as few as 0.019% of model parameters. Moreover, we demonstrate that the discovered parameter subsets are transferable to non-medical domains. Our framework is scalable to large datasets, agnostic to reward functions, and can be integrated with existing approaches for further memorization mitigation. To the best of our knowledge, this is the first study to empirically evaluate memorization in medical images and propose a targeted yet universal mitigation strategy. The code is available at https://github.com/Raman1121/Diffusion_Memorization_HPO

arxiv情報

提供元, 利用サービス

arxiv.jp, Google