Image Copy Detection for Diffusion Models

要約

拡散モデルによって生成された画像は、デジタル アートワークやビジュアル マーケティングにおいてますます人気が高まっています。
ただし、そのように生成された画像は既存の画像からコンテンツを複製する可能性があり、コンテンツの独創性という課題が生じます。
既存の画像コピー検出 (ICD) モデルは、手作りのレプリカの検出に関しては正確ですが、拡散モデルの課題を見落としています。
これが、拡散モデルに特化した最初の ICD である ICDiff を導入する動機となっています。
この目的を達成するために、我々は拡散複製 (D-Rep) データセットを構築し、それに対応して新しい深層埋め込み手法を提案します。
D-Rep は、最先端の拡散モデル (Stable Diffusion V1.5) を使用して 40,000 個のイメージ レプリカ ペアを生成します。これらのペアには、0 (複製なし) から 5 (合計) までの 6 つの複製レベルに手動で注釈が付けられます。
レプリケーション)。
私たちの手法である PDF-Embedding は、各画像とレプリカのペアの複製レベルを監視信号として確率密度関数 (PDF) に変換します。
直感的には、隣接する複製レベルの確率は連続的で滑らかであるはずです。
実験結果は、PDF-Embedding が、D-Rep テスト セットにおけるプロトコル駆動型の方法および非 PDF の選択肢を上回ることを示しています。
さらに、PDF-Embedding を利用することで、オープンソース ギャラリーに対する既知の拡散モデルの複製率が 10% から 20% の範囲であることがわかりました。
プロジェクトは https://icdiff.github.io/ で公開されています。

要約(オリジナル)

Images produced by diffusion models are increasingly popular in digital artwork and visual marketing. However, such generated images might replicate content from existing ones and pose the challenge of content originality. Existing Image Copy Detection (ICD) models, though accurate in detecting hand-crafted replicas, overlook the challenge from diffusion models. This motivates us to introduce ICDiff, the first ICD specialized for diffusion models. To this end, we construct a Diffusion-Replication (D-Rep) dataset and correspondingly propose a novel deep embedding method. D-Rep uses a state-of-the-art diffusion model (Stable Diffusion V1.5) to generate 40, 000 image-replica pairs, which are manually annotated into 6 replication levels ranging from 0 (no replication) to 5 (total replication). Our method, PDF-Embedding, transforms the replication level of each image-replica pair into a probability density function (PDF) as the supervision signal. The intuition is that the probability of neighboring replication levels should be continuous and smooth. Experimental results show that PDF-Embedding surpasses protocol-driven methods and non-PDF choices on the D-Rep test set. Moreover, by utilizing PDF-Embedding, we find that the replication ratios of well-known diffusion models against an open-source gallery range from 10% to 20%. The project is publicly available at https://icdiff.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google