One-dimensional Adapter to Rule Them All: Concepts, Diffusion Models and Erasing Applications

要約

テキストから画像への生成に商用およびオープンソースの拡散モデル (DM) が広く使用されているため、望ましくない動作を防ぐためのリスク軽減が促進されています。
学術界における既存の概念消去手法はすべて、完全なパラメータまたは仕様ベースの微調整に基づいており、そこから次の問題が観察されます。 1) 侵食に向けた世代交代: ターゲット消去中のパラメータのドリフトにより、すべての世代にわたって交代と潜在的な変形が引き起こされます。
さまざまな程度で他の概念を侵食します。これは、複数の概念が消去されるとより顕著になります。
2) 移行不能と展開の非効率: 以前のモデル固有の消去により、概念の柔軟な組み合わせやトレーニング不要の他のモデルへの移行が妨げられ、展開シナリオが増加するにつれてコストが直線的に増加します。
非侵襲的で正確、カスタマイズ可能、転送可能な消去を実現するために、当社は 1 次元アダプターに基づいて消去フレームワークを基盤にし、多用途の消去アプリケーションでほとんどの DM から複数の概念を一度に消去します。
コンセプトである半透過性構造は、ターゲットを絞った消去を学習するために膜 (SPM) として任意の DM に注入され、その間に、新しい潜在アンカー微調整戦略によって、変質と侵食現象が効果的に軽減されます。
SPM を取得すると、特別な再調整を行わずに柔軟に組み合わせて他の DM にプラグアンドプレイできるため、多様なシナリオにタイムリーかつ効率的に適応できます。
生成中、当社の促進トランスポート メカニズムは、さまざまな入力プロンプトに応答するために各 SPM の透過性を動的に調整し、他の概念への影響をさらに最小限に抑えます。
約 40 のコンセプト、7 つの DM、および 4 つの消去アプリケーションにわたる定量的および定性的な結果により、SPM の優れた消去が実証されました。
私たちのコードと事前調整された SPM は、プロジェクト ページ https://lyumengyao.github.io/projects/spm で入手できます。

要約(オリジナル)

The prevalent use of commercial and open-source diffusion models (DMs) for text-to-image generation prompts risk mitigation to prevent undesired behaviors. Existing concept erasing methods in academia are all based on full parameter or specification-based fine-tuning, from which we observe the following issues: 1) Generation alternation towards erosion: Parameter drift during target elimination causes alternations and potential deformations across all generations, even eroding other concepts at varying degrees, which is more evident with multi-concept erased; 2) Transfer inability & deployment inefficiency: Previous model-specific erasure impedes the flexible combination of concepts and the training-free transfer towards other models, resulting in linear cost growth as the deployment scenarios increase. To achieve non-invasive, precise, customizable, and transferable elimination, we ground our erasing framework on one-dimensional adapters to erase multiple concepts from most DMs at once across versatile erasing applications. The concept-SemiPermeable structure is injected as a Membrane (SPM) into any DM to learn targeted erasing, and meantime the alteration and erosion phenomenon is effectively mitigated via a novel Latent Anchoring fine-tuning strategy. Once obtained, SPMs can be flexibly combined and plug-and-play for other DMs without specific re-tuning, enabling timely and efficient adaptation to diverse scenarios. During generation, our Facilitated Transport mechanism dynamically regulates the permeability of each SPM to respond to different input prompts, further minimizing the impact on other concepts. Quantitative and qualitative results across ~40 concepts, 7 DMs and 4 erasing applications have demonstrated the superior erasing of SPM. Our code and pre-tuned SPMs will be available on the project page https://lyumengyao.github.io/projects/spm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google