要約
高解像度の要求に応えるために、事前にトレーニングされた大規模な低解像度拡散モデルを変換すること、つまり拡散外挿により、拡散の適応性が大幅に向上します。
私たちは、拡散外挿プロセスを簡素化して高速化し、より手頃な価格にしてパフォーマンスを向上させることを目的とした、チューニング不要の CutDiffusion を提案します。
CutDiffusion は既存のパッチごとの外挿に従いますが、標準的なパッチ拡散プロセスを、包括的な構造のノイズ除去に重点を置いた初期フェーズと、特定のディテールの改善に特化した後続のフェーズに分割します。
包括的な実験により、CutDiffusion の数多くの万能な利点が強調されます。(1) サードパーティの関与なしに、簡潔で高解像度の拡散プロセスを可能にするシンプルなメソッド構築。
(2) ワンステップの高解像度拡散プロセスによって高速推論速度が実現され、必要な推論パッチが少なくなります。
(3) パッチごとの推論と、包括的な構造ノイズ除去中のパッチの数の減少による安価な GPU コスト。
(4) 特定のディテールの洗練を重視した強力な生成パフォーマンス。
要約(オリジナル)
Transforming large pre-trained low-resolution diffusion models to cater to higher-resolution demands, i.e., diffusion extrapolation, significantly improves diffusion adaptability. We propose tuning-free CutDiffusion, aimed at simplifying and accelerating the diffusion extrapolation process, making it more affordable and improving performance. CutDiffusion abides by the existing patch-wise extrapolation but cuts a standard patch diffusion process into an initial phase focused on comprehensive structure denoising and a subsequent phase dedicated to specific detail refinement. Comprehensive experiments highlight the numerous almighty advantages of CutDiffusion: (1) simple method construction that enables a concise higher-resolution diffusion process without third-party engagement; (2) fast inference speed achieved through a single-step higher-resolution diffusion process, and fewer inference patches required; (3) cheap GPU cost resulting from patch-wise inference and fewer patches during the comprehensive structure denoising; (4) strong generation performance, stemming from the emphasis on specific detail refinement.
arxiv情報
| 著者 | Mingbao Lin,Zhihang Lin,Wengyi Zhan,Liujuan Cao,Rongrong Ji |
| 発行日 | 2024-04-23 15:47:58+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google