ArtistAuditor: Auditing Artist Style Pirate in Text-to-Image Generation Models

要約

Dall-E、安定した拡散、Midjourneyなどの拡散プロセスに基づいたテキストから画像へのモデルは、テキストを詳細な画像に変換することができ、アートとデザインに広範なアプリケーションを持っています。
そのため、アマチュアユーザーは、アーティストの作品を収集し、モデルを微調整することで、プロのレベルの絵画を簡単に模倣でき、Artworksの著作権侵害に関する懸念につながります。
これらの問題に取り組むために、以前の研究は、視覚的に知覚できない摂動をアートワークに追加して、その基礎となるスタイル（摂動ベースの方法）を変更するか、アートワークにトレーニング後の検出可能な透かし（透かしベースの方法）を埋め込みます。
ただし、アートワークまたはモデルがオンラインで公開されている場合、つまり、元のアートワークまたはモデルの再訓練の変更が実行不可能である場合、これらの戦略は実行できない可能性があります。
この目的のために、テキストから画像の生成モデルでデータ使用監査のための新しい方法を提案します。
ArtistAuditorの一般的なアイデアは、スタイルに関連する機能を分析することにより、特定のアーティストのアートワークを使用して、疑わしいモデルが微調整されているかどうかを特定することです。
具体的には、ArtistAuditorはスタイル抽出器を採用してマルチ粒度スタイルの表現を取得し、アーティストのスタイルのサンプリングとしてアートワークを扱います。
次に、ArtistAuditorは訓練された差別装置を照会して、監査の決定を取得します。
モデルとデータセットの6つの組み合わせでの実験結果は、ArtistAuditorが高いAUC値を達成できることを示しています（> 0.937）。
ArtistAuditorの転送可能性とコアモジュールを研究することにより、実際の実装に関する貴重な洞察を提供します。
最後に、オンラインプラットフォームシナリオにより、実際のケースでArtistAuditorの有効性を実証します。
ArtistAuditorはhttps://github.com/jozenn/artistauditorでオープンソーシングされています。

要約(オリジナル)

Text-to-image models based on diffusion processes, such as DALL-E, Stable Diffusion, and Midjourney, are capable of transforming texts into detailed images and have widespread applications in art and design. As such, amateur users can easily imitate professional-level paintings by collecting an artist’s work and fine-tuning the model, leading to concerns about artworks’ copyright infringement. To tackle these issues, previous studies either add visually imperceptible perturbation to the artwork to change its underlying styles (perturbation-based methods) or embed post-training detectable watermarks in the artwork (watermark-based methods). However, when the artwork or the model has been published online, i.e., modification to the original artwork or model retraining is not feasible, these strategies might not be viable. To this end, we propose a novel method for data-use auditing in the text-to-image generation model. The general idea of ArtistAuditor is to identify if a suspicious model has been finetuned using the artworks of specific artists by analyzing the features related to the style. Concretely, ArtistAuditor employs a style extractor to obtain the multi-granularity style representations and treats artworks as samplings of an artist’s style. Then, ArtistAuditor queries a trained discriminator to gain the auditing decisions. The experimental results on six combinations of models and datasets show that ArtistAuditor can achieve high AUC values (> 0.937). By studying ArtistAuditor’s transferability and core modules, we provide valuable insights into the practical implementation. Finally, we demonstrate the effectiveness of ArtistAuditor in real-world cases by an online platform Scenario. ArtistAuditor is open-sourced at https://github.com/Jozenn/ArtistAuditor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google