Not Every Image is Worth a Thousand Words: Quantifying Originality in Stable Diffusion

要約

この研究は、著作権の独創性に焦点を当てて、テキストから画像 (T2I) 生成拡散モデルにおける独創性を定量化するという課題に取り組んでいます。
まず、制御された実験を通じて革新と一般化を実現する T2I モデルの能力を評価し、安定した拡散モデルが十分に多様なトレーニング データを使用して目に見えない要素を効果的に再現できることを明らかにします。
そして、私たちの重要な洞察は、モデルがよく知っており、トレーニング中によく見た画像要素の概念と組み合わせが、モデルの潜在空間でより簡潔に表現されるということです。
そこで、テキスト反転を利用して、モデルによる再構成に必要なトークンの数に基づいて画像の独創性を測定する方法を提案します。
私たちのアプローチは、独自性の法的定義に触発されており、特定のプロンプトに依存したり、モデルのトレーニング データを持たずに、モデルがオリジナルのコンテンツを生成できるかどうかを評価することを目的としています。
事前にトレーニングされた安定した拡散モデルと合成データセットの両方を使用して方法を実証し、トークンの数と画像の独創性の間の相関関係を示します。
この成果は、生成モデルの独創性の理解に貢献し、著作権侵害訴訟にも影響を及ぼします。

要約(オリジナル)

This work addresses the challenge of quantifying originality in text-to-image (T2I) generative diffusion models, with a focus on copyright originality. We begin by evaluating T2I models’ ability to innovate and generalize through controlled experiments, revealing that stable diffusion models can effectively recreate unseen elements with sufficiently diverse training data. Then, our key insight is that concepts and combinations of image elements the model is familiar with, and saw more during training, are more concisly represented in the model’s latent space. We hence propose a method that leverages textual inversion to measure the originality of an image based on the number of tokens required for its reconstruction by the model. Our approach is inspired by legal definitions of originality and aims to assess whether a model can produce original content without relying on specific prompts or having the training data of the model. We demonstrate our method using both a pre-trained stable diffusion model and a synthetic dataset, showing a correlation between the number of tokens and image originality. This work contributes to the understanding of originality in generative models and has implications for copyright infringement cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google