FBSDiff: Plug-and-Play Frequency Band Substitution of Diffusion Features for Highly Controllable Text-Driven Image Translation

要約

大規模なテキストから画像への拡散モデルは、生成 AI とマルチモーダル テクノロジの進化における革命的なマイルストーンであり、自然言語テキスト プロンプトによる素晴らしい画像生成を可能にします。
ただし、このようなモデルは制御性に欠けるという問題により、現実のコンテンツ作成への実際の適用が制限されます。
したがって、参照画像を活用してテキストから画像への合成を制御することに注目が集まっています。これは、テキスト プロンプトに従って参照画像を操作 (または編集) すること、つまり、テキスト駆動の画像から画像への変換ともみなされます。
。
この論文は、事前トレーニングされた大規模なテキストから画像への (T2I) 拡散モデルをプラグアンドプレイ方式で画像から画像へ (I2I) のパラダイムに適応させる、新規で簡潔かつ効率的なアプローチに貢献します。
モデルのトレーニング、モデルの微調整、オンライン最適化プロセスを必要としない、高品質で汎用性の高いテキスト駆動型の I2I 翻訳です。
参照画像を使用して T2I 生成をガイドするために、DCT スペクトル空間内の拡散特徴の異なる周波数帯域を持つ多様なガイド因子を分解し、それに応じて T2I 生成に対する参照画像の動的制御を実現する新しい周波数帯域置換層を考案することを提案します。
プラグアンドプレイ方式で実現します。
私たちの方法では、置換された周波数帯域の種類と帯域幅をそれぞれ調整するだけで、参照画像のガイド係数とガイド強度の両方を柔軟に制御できることを示します。
広範な定性的および定量的実験により、I2I 翻訳の視覚的品質、汎用性、および制御性において、関連する方法に対する当社のアプローチの優位性が検証されます。
コードは https://github.com/XiangGao1102/FBSDiff で公開されています。

要約(オリジナル)

Large-scale text-to-image diffusion models have been a revolutionary milestone in the evolution of generative AI and multimodal technology, allowing wonderful image generation with natural-language text prompt. However, the issue of lacking controllability of such models restricts their practical applicability for real-life content creation. Thus, attention has been focused on leveraging a reference image to control text-to-image synthesis, which is also regarded as manipulating (or editing) a reference image as per a text prompt, namely, text-driven image-to-image translation. This paper contributes a novel, concise, and efficient approach that adapts pre-trained large-scale text-to-image (T2I) diffusion model to the image-to-image (I2I) paradigm in a plug-and-play manner, realizing high-quality and versatile text-driven I2I translation without any model training, model fine-tuning, or online optimization process. To guide T2I generation with a reference image, we propose to decompose diverse guiding factors with different frequency bands of diffusion features in the DCT spectral space, and accordingly devise a novel frequency band substitution layer which realizes dynamic control of the reference image to the T2I generation result in a plug-and-play manner. We demonstrate that our method allows flexible control over both guiding factor and guiding intensity of the reference image simply by tuning the type and bandwidth of the substituted frequency band, respectively. Extensive qualitative and quantitative experiments verify superiority of our approach over related methods in I2I translation visual quality, versatility, and controllability. The code is publicly available at: https://github.com/XiangGao1102/FBSDiff.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google