Detecting, Explaining, and Mitigating Memorization in Diffusion Models

要約

拡散モデルにおける最近の進歩により、優れた画像生成機能が発揮されています。
ただし、研究によると、一部の出力はトレーニング データの単なる複製であることが示されています。
このような複製は、特に生成されたコンテンツに機密情報が含まれている場合、モデル所有者にとって潜在的な法的問題を引き起こす可能性があります。
この研究では、テキスト条件付き予測の大きさを検査することによって、記憶されたプロンプトを検出するための簡単かつ効果的な方法を紹介します。
私たちが提案する方法は、サンプリング アルゴリズムを中断することなくシームレスに統合され、プロンプトごとに 1 回の生成で、最初の生成ステップでも高い精度を実現します。
私たちの検出戦略に基づいて、個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを明らかにします。
これにより、ユーザーがプロンプトを調整するための対話型メディアが提供されます。
さらに、推論中の最小化またはトレーニング中のフィルタリングを通じて、テキスト条件付き予測の大きさを利用して記憶を軽減するという 2 つの戦略を提案します。
これらの提案された戦略は、高い生成品質を維持しながら、暗記を効果的に阻止します。
コードは https://github.com/YuxinWenRick/diffusion_memorization で入手できます。

要約(オリジナル)

Recent breakthroughs in diffusion models have exhibited exceptional image-generation capabilities. However, studies show that some outputs are merely replications of training data. Such replications present potential legal challenges for model owners, especially when the generated content contains proprietary information. In this work, we introduce a straightforward yet effective method for detecting memorized prompts by inspecting the magnitude of text-conditional predictions. Our proposed method seamlessly integrates without disrupting sampling algorithms, and delivers high accuracy even at the first generation step, with a single generation per prompt. Building on our detection strategy, we unveil an explainable approach that shows the contribution of individual words or tokens to memorization. This offers an interactive medium for users to adjust their prompts. Moreover, we propose two strategies i.e., to mitigate memorization by leveraging the magnitude of text-conditional predictions, either through minimization during inference or filtering during training. These proposed strategies effectively counteract memorization while maintaining high-generation quality. Code is available at https://github.com/YuxinWenRick/diffusion_memorization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google