DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion Models

要約

最近のテキストから画像への拡散モデルは、高品質の画像を生成する際に驚くべきパフォーマンスを示しています。
ただし、トレーニングまたは微調整プロセス中の不正なデータ使用に関する懸念が生じています。
一例として、モデル トレーナーが特定のアーティストによって作成された一連の画像を収集し、許可を得ずにアーティストのクレジットを表示せずに、同様の画像を生成できるモデルをトレーニングしようとする場合が挙げられます。
この問題に対処するために、保護されたデータセットでトレーニングされたテキストから画像への拡散モデルに注入された記憶を植え付けることで、そのような不正なデータ使用を検出する方法を提案します。
具体的には、ステルス画像ワーピング機能を使用して、保護された画像に独自のコンテンツを追加することで、保護された画像を変更します。ワーピング機能は、人間にはほとんど知覚できませんが、拡散モデルによってキャプチャおよび記憶することができます。
注入されたコンテンツをモデルが記憶しているかどうか（つまり、生成された画像が注入された後処理関数によって処理されているかどうか）を分析することで、不正なデータを不正利用したモデルを検出できます。
さまざまなモデルトレーニングまたは微調整方法（つまり、LoRA、DreamBooth、および標準トレーニング）を使用した安定拡散と VQ 拡散の実験は、不正なデータ使用の検出における私たちの提案方法の有効性を実証します。
コード: https://github.com/ZhentingWang/DIAGNOSIS。

要約(オリジナル)

Recent text-to-image diffusion models have shown surprising performance in generating high-quality images. However, concerns have arisen regarding the unauthorized data usage during the training or fine-tuning process. One example is when a model trainer collects a set of images created by a particular artist and attempts to train a model capable of generating similar images without obtaining permission and giving credit to the artist. To address this issue, we propose a method for detecting such unauthorized data usage by planting the injected memorization into the text-to-image diffusion models trained on the protected dataset. Specifically, we modify the protected images by adding unique contents on these images using stealthy image warping functions that are nearly imperceptible to humans but can be captured and memorized by diffusion models. By analyzing whether the model has memorized the injected content (i.e., whether the generated images are processed by the injected post-processing function), we can detect models that had illegally utilized the unauthorized data. Experiments on Stable Diffusion and VQ Diffusion with different model training or fine-tuning methods (i.e, LoRA, DreamBooth, and standard training) demonstrate the effectiveness of our proposed method in detecting unauthorized data usages. Code: https://github.com/ZhentingWang/DIAGNOSIS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google