Attention Distillation: A Unified Approach to Visual Characteristics Transfer

要約

生成拡散モデルの最近の進歩により、画像スタイルとセマンティクスの顕著な固有の理解が示されています。
このホワイトペーパーでは、前処理された拡散ネットワークからの自己関節機能を活用して、参照から生成された画像に視覚特性を転送します。
これらの機能をプラグアンドプレイ属性として使用する以前の研究とは異なり、理想的なスタイリライゼーション結果と現在のスタイリライゼーションの結果の間に計算された新しい注意蒸留損失を提案します。
次に、注意蒸留の損失を除去サンプリングプロセスに統合する改善された分類器ガイダンスを提案し、合成をさらに加速し、幅広い画像生成アプリケーションを可能にします。
広範な実験により、例のスタイル、外観、テクスチャーを合成中の新しい画像に転送する際のアプローチの並外れたパフォーマンスが実証されています。
コードはhttps://github.com/xugao97/attentiondistillationで入手できます。

要約(オリジナル)

Recent advances in generative diffusion models have shown a notable inherent understanding of image style and semantics. In this paper, we leverage the self-attention features from pretrained diffusion networks to transfer the visual characteristics from a reference to generated images. Unlike previous work that uses these features as plug-and-play attributes, we propose a novel attention distillation loss calculated between the ideal and current stylization results, based on which we optimize the synthesized image via backpropagation in latent space. Next, we propose an improved Classifier Guidance that integrates attention distillation loss into the denoising sampling process, further accelerating the synthesis and enabling a broad range of image generation applications. Extensive experiments have demonstrated the extraordinary performance of our approach in transferring the examples’ style, appearance, and texture to new images in synthesis. Code is available at https://github.com/xugao97/AttentionDistillation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google