On Provable Copyright Protection for Generative Models

要約

学習された条件付き生成モデルが、トレーニング セットに含まれていた著作権で保護されたデータ $C$ と実質的に類似したサンプルを出力する可能性があるという懸念が高まっています。
$\textit{ニアアクセスフリーネス(NAF)}$の正式な定義を与え、たとえ$C$が訓練セットに含まれていたとしても、この定義を満たすモデルが$C$と同様のサンプルを出力する確率の限界を証明します。
大まかに言うと、著作権で保護されている可能性のあるすべてのデータ $C$ について、$p$ の出力が、$\textit{$C$ にまったくアクセスしなかった}$ というモデル $q$ の出力から最大 $k$ ビットだけ乖離している場合、生成モデル $p$ は $\textit{$k$-NAF}$ です。
また、生成モデル学習アルゴリズムも提供します。これは、元の生成モデル学習アルゴリズムをブラック ボックス方式で効率的に変更し、保護されたコンテンツをサンプリングする確率に強い制限を持つ生成モデルを出力します。
さらに、言語 (変換器) と画像 (拡散) 生成モデルの両方に対して有望な実験を提供し、保護されたコンテンツのサンプリングに対する強力な保護を確保しながら、出力品質の低下を最小限に抑えることを示しています。

要約(オリジナル)

There is a growing concern that learned conditional generative models may output samples that are substantially similar to some copyrighted data $C$ that was in their training set. We give a formal definition of $\textit{near access-freeness (NAF)}$ and prove bounds on the probability that a model satisfying this definition outputs a sample similar to $C$, even if $C$ is included in its training set. Roughly speaking, a generative model $p$ is $\textit{$k$-NAF}$ if for every potentially copyrighted data $C$, the output of $p$ diverges by at most $k$-bits from the output of a model $q$ that $\textit{did not access $C$ at all}$. We also give generative model learning algorithms, which efficiently modify the original generative model learning algorithm in a black box manner, that output generative models with strong bounds on the probability of sampling protected content. Furthermore, we provide promising experiments for both language (transformers) and image (diffusion) generative models, showing minimal degradation in output quality while ensuring strong protections against sampling protected content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google