Not All Steps are Created Equal: Selective Diffusion Distillation for Image Manipulation

要約

条件付き拡散モデルは、画像操作タスクにおいて優れたパフォーマンスを実証しました。
一般的なパイプラインには、画像にノイズを追加してからノイズを除去することが含まれます。
ただし、この方法にはトレードオフの問題があります。ノイズを追加しすぎると画像の忠実性に影響し、ノイズを追加しすぎると編集性に影響します。
これにより、実際の適用性が大幅に制限されます。
この論文では、画像の忠実性と編集可能性の両方を保証する新しいフレームワークである選択拡散蒸留 (SDD) を提案します。
拡散モデルを使用して画像を直接編集する代わりに、拡散モデルの指導の下でフィードフォワード画像操作ネットワークをトレーニングします。
さらに、拡散モデルから正しい意味論的なガイダンスを得るために意味論関連のタイムステップを選択するための効果的な指標を提案します。
このアプローチは、拡散プロセスによって引き起こされるジレンマを首尾よく回避します。
私たちの広範な実験は、私たちのフレームワークの利点を実証しています。
コードは https://github.com/AndysonYs/Selective-Diffusion-Distillation でリリースされています。

要約(オリジナル)

Conditional diffusion models have demonstrated impressive performance in image manipulation tasks. The general pipeline involves adding noise to the image and then denoising it. However, this method faces a trade-off problem: adding too much noise affects the fidelity of the image while adding too little affects its editability. This largely limits their practical applicability. In this paper, we propose a novel framework, Selective Diffusion Distillation (SDD), that ensures both the fidelity and editability of images. Instead of directly editing images with a diffusion model, we train a feedforward image manipulation network under the guidance of the diffusion model. Besides, we propose an effective indicator to select the semantic-related timestep to obtain the correct semantic guidance from the diffusion model. This approach successfully avoids the dilemma caused by the diffusion process. Our extensive experiments demonstrate the advantages of our framework. Code is released at https://github.com/AndysonYs/Selective-Diffusion-Distillation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google