Memory Triggers: Unveiling Memorization in Text-To-Image Generative Models through Word-Level Duplication

要約

安定拡散モデルなどの拡散ベースのモデルは、高品質、高解像度の画像を生成する機能により、テキストから画像への合成に革命をもたらしました。
これらの進歩により、画像の生成と編集作業が大幅に進歩しました。
ただし、これらのモデルは、正確なトレーニング サンプルを記憶して複製する可能性があるため、プライバシー リスクが生じ、敵対的攻撃が可能になるという懸念も生じます。
トレーニングデータセットの重複は暗記に寄与する主な要因として認識されており、これまでにさまざまな形式の暗記が研究されています。
この論文では、拡散ベースのモデル、特に安定拡散モデルにおける推論中に複製を引き起こす 2 つの異なるタイプの、まだ研究が進んでいない重複に焦点を当てます。
私たちは、2 つのケーススタディを通じて、これらのあまり研究されていない重複現象とその影響を詳しく掘り下げ、さまざまなアプリケーションにおける生成モデルのより安全で責任ある使用に貢献することを目指しています。

要約(オリジナル)

Diffusion-based models, such as the Stable Diffusion model, have revolutionized text-to-image synthesis with their ability to produce high-quality, high-resolution images. These advancements have prompted significant progress in image generation and editing tasks. However, these models also raise concerns due to their tendency to memorize and potentially replicate exact training samples, posing privacy risks and enabling adversarial attacks. Duplication in training datasets is recognized as a major factor contributing to memorization, and various forms of memorization have been studied so far. This paper focuses on two distinct and underexplored types of duplication that lead to replication during inference in diffusion-based models, particularly in the Stable Diffusion model. We delve into these lesser-studied duplication phenomena and their implications through two case studies, aiming to contribute to the safer and more responsible use of generative models in various applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google