Privacy-Preserving Low-Rank Adaptation for Latent Diffusion Models

要約

低ランク適応 (LoRA) は、適応損失を最小限に抑えて特定のオブジェクトを生成するためにトレーニング データセットに潜在拡散モデル (LDM) を適応させるための効率的な戦略です。
ただし、LoRA 経由で適応された LDM は、特定のデータ ポイントがプライベート トレーニング データセットに属するかどうかを判断するメンバーシップ推論 (MI) 攻撃に対して脆弱であるため、プライバシー漏洩の重大なリスクに直面します。
MI 攻撃を防御するために、私たちはまず、プライバシーを保護する LoRA (PrivateLoRA) という直接的なソリューションを提案することに努めます。
PrivateLoRA は、最小-最大最適化問題として定式化されます。この問題では、代理攻撃モデルは MI ゲインを最大化することによってトレーニングされ、LDM は適応損失と代理攻撃モデルの MI ゲインの合計を最小化することによって適応されます。
しかし、我々は、PrivateLoRA には適応を妨げる勾配スケールの大きな変動により最適化が不安定になるという問題があることを経験的に明らかにしています。
この問題を軽減するために、MI ゲインに対する適応損失の比率を最小限に抑えて LDM を適応させる Stable PrivateLoRA を提案します。これにより暗黙的に勾配が再スケーリングされ、最適化が安定します。
私たちの包括的な実証結果は、Stable PrivateLoRA を介して適応した LDM が高品質の画像を生成しながら MI 攻撃を効果的に防御できることを裏付けています。
私たちのコードは https://github.com/WilliamLUO0/StablePrivateLoRA で入手できます。

要約(オリジナル)

Low-rank adaptation (LoRA) is an efficient strategy for adapting latent diffusion models (LDMs) on a training dataset to generate specific objects by minimizing the adaptation loss. However, adapted LDMs via LoRA are vulnerable to membership inference (MI) attacks that can judge whether a particular data point belongs to private training datasets, thus facing severe risks of privacy leakage. To defend against MI attacks, we make the first effort to propose a straightforward solution: privacy-preserving LoRA (PrivateLoRA). PrivateLoRA is formulated as a min-max optimization problem where a proxy attack model is trained by maximizing its MI gain while the LDM is adapted by minimizing the sum of the adaptation loss and the proxy attack model’s MI gain. However, we empirically disclose that PrivateLoRA has the issue of unstable optimization due to the large fluctuation of the gradient scale which impedes adaptation. To mitigate this issue, we propose Stable PrivateLoRA that adapts the LDM by minimizing the ratio of the adaptation loss to the MI gain, which implicitly rescales the gradient and thus stabilizes the optimization. Our comprehensive empirical results corroborate that adapted LDMs via Stable PrivateLoRA can effectively defend against MI attacks while generating high-quality images. Our code is available at https://github.com/WilliamLUO0/StablePrivateLoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google