Filtered-Guided Diffusion: Fast Filter Guidance for Black-Box Diffusion Models

要約

拡散ベースの生成モデルの最近の進歩により、画像から画像への変換と編集が信じられないほど期待できることが示されました。
この分野における最近の研究は、追加のトレーニングや、拡散プロセスに対するアーキテクチャ固有の調整に依存しています。
この研究では、追加のトレーニングや拡散モデルの機能へのアクセスを必要とせずに、この低レベルの制御の多くを達成できることを示します。
私たちの方法は、適応的な方法で前のステップの出力に基づいて各拡散ステップの入力にフィルターを適用するだけです。
特に、このアプローチは特定のアーキテクチャやサンプラーに依存せず、ネットワークの内部機能にアクセスせずに実行できるため、他の技術、サンプラー、拡散アーキテクチャと簡単に組み合わせることができます。
さらに、パフォーマンスに対するコストは無視でき、他のアプローチよりもガイダンス強度をより継続的に調整できます。
FGD が、最近のアーキテクチャに依存したアプローチと競合する、高速で強力なベースラインを提供することを示します。
さらに、FGD は、他の最先端の I2I メソッドの構造ガイダンスを強化するための単純なアドオンとしても使用できます。
最後に、この手法の導出は、他の最近のアーキテクチャ固有の I2I アプローチの重要なコンポーネントである自己注意の影響を、よりアーキテクチャに依存しない方法で理解するのに役立ちます。
プロジェクトページ: https://github.com/jaclyngu/FilteredGuidedDiffusion

要約(オリジナル)

Recent advances in diffusion-based generative models have shown incredible promise for Image-to-Image translation and editing. Most recent work in this space relies on additional training or architecture-specific adjustments to the diffusion process. In this work, we show that much of this low-level control can be achieved without additional training or any access to features of the diffusion model. Our method simply applies a filter to the input of each diffusion step based on the output of the previous step in an adaptive manner. Notably, this approach does not depend on any specific architecture or sampler and can be done without access to internal features of the network, making it easy to combine with other techniques, samplers, and diffusion architectures. Furthermore, it has negligible cost to performance, and allows for more continuous adjustment of guidance strength than other approaches. We show FGD offers a fast and strong baseline that is competitive with recent architecture-dependent approaches. Furthermore, FGD can also be used as a simple add-on to enhance the structural guidance of other state-of-the-art I2I methods. Finally, our derivation of this method helps to understand the impact of self attention, a key component of other recent architecture-specific I2I approaches, in a more architecture-independent way. Project page: https://github.com/jaclyngu/FilteredGuidedDiffusion

arxiv情報

提供元, 利用サービス

arxiv.jp, Google