Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models

要約

最先端の拡散モデルは、高品質でカスタマイズ可能な画像を生成し、商用アートやグラフィック デザインの目的で使用できるようにします。
しかし、拡散モデルは独自の芸術作品を生み出しているのでしょうか?それとも、トレーニング セットからコンテンツを直接複製しているのでしょうか?
この作業では、生成された画像をトレーニング サンプルと比較し、コンテンツがいつ複製されたかを検出できるようにする画像検索フレームワークを研究します。
オックスフォードの花、Celeb-A、ImageNet、LAION などの複数のデータセットでトレーニングされた拡散モデルにフレームワークを適用し、トレーニング セットのサイズなどの要因がコンテンツの複製率にどのように影響するかについて説明します。
また、人気のある Stable Diffusion モデルを含む拡散モデルがトレーニング データからあからさまにコピーされているケースも特定しています。

要約(オリジナル)

Cutting-edge diffusion models produce images with high quality and customizability, enabling them to be used for commercial art and graphic design purposes. But do diffusion models create unique works of art, or are they replicating content directly from their training sets? In this work, we study image retrieval frameworks that enable us to compare generated images with training samples and detect when content has been replicated. Applying our frameworks to diffusion models trained on multiple datasets including Oxford flowers, Celeb-A, ImageNet, and LAION, we discuss how factors such as training set size impact rates of content replication. We also identify cases where diffusion models, including the popular Stable Diffusion model, blatantly copy from their training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google