DP-RDM: Adapting Diffusion Models to Private Domains Without Fine-Tuning

要約

テキストから画像への拡散モデルはサンプルレベルの記憶に問題があり、トレーニングされた画像のほぼ完璧なレプリカを再現する可能性があり、これは望ましくない可能性があります。
この問題を解決するために、証明可能なプライバシー保証を提供しながら高品質の画像サンプルを生成できる、最初の差分プライベート (DP) 検索拡張生成アルゴリズムを開発しました。
具体的には、少量の公開データでトレーニングされたテキストから画像への拡散モデルへのアクセスを想定し、プライベート検索データセットから取得したサンプルでテキスト プロンプトを強化する DP 検索メカニズムを設計します。
私たちの \emph{差分プライベート検索拡張拡散モデル} (DP-RDM) は、別のドメインに適応させるために検索データセットを微調整する必要がなく、最先端の生成モデルを使用して高品質の画像を生成できます。
厳格な DP 保証を満たしながらサンプルを採取します。
たとえば、MS-COCO で評価すると、当社の DP-RDM は $\epsilon=10$ のプライバシー バジェットでサンプルを生成できますが、最大 $10,000$ のクエリについてはパブリックのみの検索と比較して FID が $3.5$ ポイント向上します。
。

要約(オリジナル)

Text-to-image diffusion models have been shown to suffer from sample-level memorization, possibly reproducing near-perfect replica of images that they are trained on, which may be undesirable. To remedy this issue, we develop the first differentially private (DP) retrieval-augmented generation algorithm that is capable of generating high-quality image samples while providing provable privacy guarantees. Specifically, we assume access to a text-to-image diffusion model trained on a small amount of public data, and design a DP retrieval mechanism to augment the text prompt with samples retrieved from a private retrieval dataset. Our \emph{differentially private retrieval-augmented diffusion model} (DP-RDM) requires no fine-tuning on the retrieval dataset to adapt to another domain, and can use state-of-the-art generative models to generate high-quality image samples while satisfying rigorous DP guarantees. For instance, when evaluated on MS-COCO, our DP-RDM can generate samples with a privacy budget of $\epsilon=10$, while providing a $3.5$ point improvement in FID compared to public-only retrieval for up to $10,000$ queries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google