Understanding and Mitigating Copying in Diffusion Models

要約

安定拡散などの拡散モデルによって生成される画像は、ますます普及しています。
最近の研究や訴訟でさえ、これらのモデルはユーザーの知らないうちにトレーニング データを複製する傾向があることが示されています。
この論文では、まずこの記憶の問題をテキストから画像への拡散モデルで分析します。
トレーニング セット内の重複画像が推論時のコンテンツ複製の原因であると広く信じられていますが、モデルのテキスト条件付けも同様に重要な役割を果たしていることが観察されています。
実際、実験では、無条件モデルではデータ レプリケーションが発生しないことがよくありますが、テキスト条件付きの場合はよく発生することがわかりました。
私たちの発見に触発されて、トレーニング セット内の画像キャプションをランダム化および強化することで、トレーニング時と推論時の両方でデータの複製を削減するためのいくつかの手法を提案します。

要約(オリジナル)

Images generated by diffusion models like Stable Diffusion are increasingly widespread. Recent works and even lawsuits have shown that these models are prone to replicating their training data, unbeknownst to the user. In this paper, we first analyze this memorization problem in text-to-image diffusion models. While it is widely believed that duplicated images in the training set are responsible for content replication at inference time, we observe that the text conditioning of the model plays a similarly important role. In fact, we see in our experiments that data replication often does not happen for unconditional models, while it is common in the text-conditional case. Motivated by our findings, we then propose several techniques for reducing data replication at both training and inference time by randomizing and augmenting image captions in the training set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google