Not with my name! Inferring artists’ names of input strings employed by Diffusion Models

要約

拡散モデル (DM) は、リアルで高品質の画像を生成するのに非常に効果的です。
ただし、これらのモデルには創造性が欠けており、作成時に提供されるテキスト入力に基づいて、トレーニング データに基づいて出力を構成するだけです。
アーティストの名前を入力として使用して、そのアーティストを彷彿とさせる画像を生成することは許容されますか?
これは、DM がアーティストの作品を複製できる場合、DM はそのアーティストの作品の一部またはすべてに基づいてトレーニングされており、著作権を侵害していることを意味します。
この論文では、生成された画像の入力文字列にアーティスト名が使用される確率を推測するための予備研究を示します。
この目的のために、私たちは有名な DALL-E 2 によって生成された画像のみに焦点を当て、5 人の有名なアーティストの画像 (オリジナルと生成の両方) を収集しました。
最後に、専用のシャム ニューラル ネットワークを使用して、第 1 種の確率を実現しました。
実験結果は、私たちのアプローチが最適な出発点であり、調査された画像の完全な入力文字列を予測するための事前分布として使用できることを示しています。
データセットとコードは https://github.com/ictlab-unict/not-with-my-name から入手できます。

要約(オリジナル)

Diffusion Models (DM) are highly effective at generating realistic, high-quality images. However, these models lack creativity and merely compose outputs based on their training data, guided by a textual input provided at creation time. Is it acceptable to generate images reminiscent of an artist, employing his name as input? This imply that if the DM is able to replicate an artist’s work then it was trained on some or all of his artworks thus violating copyright. In this paper, a preliminary study to infer the probability of use of an artist’s name in the input string of a generated image is presented. To this aim we focused only on images generated by the famous DALL-E 2 and collected images (both original and generated) of five renowned artists. Finally, a dedicated Siamese Neural Network was employed to have a first kind of probability. Experimental results demonstrate that our approach is an optimal starting point and can be employed as a prior for predicting a complete input string of an investigated image. Dataset and code are available at: https://github.com/ictlab-unict/not-with-my-name .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google