Adversarial Example Does Good: Preventing Painting Imitation from Diffusion Models via Adversarial Examples

要約

拡散モデル (DM) は、生成タスクで最先端のパフォーマンスを実現し、AI for Art の波を押し上げています。
商業化の成功にもかかわらず、DM は著作権侵害のツールを提供しています。侵害者は、人間のアーティストが作成した絵画を違法に使用して DM を訓練し、同様のスタイルの新しい絵画を生成することで利益を得ています。
この論文では、人間の視覚の画像 $x$ に似ているが DM には認識できない画像 $x’$ を作成できることを示します。
拡散モデルのこの敵対的な例を定義および評価するためのフレームワークを構築します。
フレームワークに基づいて、DMの敵対的な例を生成するアルゴリズムであるAdvDMをさらに提案します。
DM の逆プロセスからサンプリングされたさまざまな潜在変数を最適化することにより、AdvDM は DM の敵対的な例のモンテカルロ推定を行います。
広範な実験により、推定された敵対的な例が、DM がその特徴を抽出するのを効果的に妨げる可能性があることが示されています。
私たちの方法は、DM ベースの AI-for Art アプリケーションを使用して、人間のアーティストが著作権を侵害者から保護するための強力なツールになる可能性があります。

要約(オリジナル)

Diffusion Models (DMs) achieve state-of-the-art performance in generative tasks, boosting a wave in AI for Art. Despite the success of commercialization, DMs meanwhile provide tools for copyright violations, where infringers benefit from illegally using paintings created by human artists to train DMs and generate novel paintings in a similar style. In this paper, we show that it is possible to create an image $x’$ that is similar to an image $x$ for human vision but unrecognizable for DMs. We build a framework to define and evaluate this adversarial example for diffusion models. Based on the framework, we further propose AdvDM, an algorithm to generate adversarial examples for DMs. By optimizing upon different latent variables sampled from the reverse process of DMs, AdvDM conducts a Monte-Carlo estimation of adversarial examples for DMs. Extensive experiments show that the estimated adversarial examples can effectively hinder DMs from extracting their features. Our method can be a powerful tool for human artists to protect their copyright against infringers with DM-based AI-for-Art applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google