Geom-Erasing: Geometry-Driven Removal of Implicit Concept in Diffusion Models

要約

パーソナライズされたデータセットによる拡散モデルの微調整は、下流タスク全体で生成品質を向上させるための方法として認められていますが、特定の下流タスク内での画像ソースや収集方法の制限に起因して、透かしや QR コードなどの意図しない概念が誤って生成されることがよくあります。
。
既存のソリューションは、主に実際には識別できない概念を認識するモデルの能力に依存しているため、これらの意図せずに学習された暗黙的な概念を排除することが困難です。
この研究では、Geom-Erasing を導入します。これは、追加のアクセス可能な分類子モデルまたは検出器モデルを使用して暗黙の概念を首尾よく削除し、これらの概念の幾何学的情報をテキスト ドメインにエンコードする新しいアプローチです。
さらに、トレーニングと評価のために 3 つの暗黙の概念 (透かし、QR コード、テキスト) が組み込まれた新しい画像テキスト データセットである Implicit Concept を提案します。
実験結果は、Geom-Erasing が暗黙の概念を特定するだけでなく、それを巧みに根絶することを実証し、既存の方法に比べて大幅な改善が見られることを明らかにしています。
幾何学的情報の統合は、拡散モデルにおける暗黙の概念の正確な除去における大幅な進歩を示しています。

要約(オリジナル)

Fine-tuning diffusion models through personalized datasets is an acknowledged method for improving generation quality across downstream tasks, which, however, often inadvertently generates unintended concepts such as watermarks and QR codes, attributed to the limitations in image sources and collecting methods within specific downstream tasks. Existing solutions suffer from eliminating these unintentionally learned implicit concepts, primarily due to the dependency on the model’s ability to recognize concepts that it actually cannot discern. In this work, we introduce Geom-Erasing, a novel approach that successfully removes the implicit concepts with either an additional accessible classifier or detector model to encode geometric information of these concepts into text domain. Moreover, we propose Implicit Concept, a novel image-text dataset imbued with three implicit concepts (i.e., watermarks, QR codes, and text) for training and evaluation. Experimental results demonstrate that Geom-Erasing not only identifies but also proficiently eradicates implicit concepts, revealing a significant improvement over the existing methods. The integration of geometric information marks a substantial progression in the precise removal of implicit concepts in diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google