FreeU: Free Lunch in Diffusion U-Net

要約

この論文では、その場で生成品質を大幅に向上させる「フリーランチ」として機能する普及 U-Net の未開発の可能性を明らかにします。
私たちは最初に、ノイズ除去プロセスに対する U-Net アーキテクチャの主な寄与を調査し、そのメイン バックボーンが主にノイズ除去に寄与しているのに対し、そのスキップ接続は主に高周波機能をデコーダ モジュールに導入し、ネットワークがバックボーン セマンティクスを見落とす原因となっていることが特定されました。
。
この発見を利用して、追加のトレーニングや微調整を行わずに生成品質を向上させる、「FreeU」と呼ばれるシンプルかつ効果的な方法を提案します。
私たちの重要な洞察は、U-Net アーキテクチャの両方のコンポーネントの強みを活用するために、U-Net のスキップ接続とバックボーン機能マップから得られる貢献を戦略的に再加重することです。
画像とビデオの生成タスクに関する有望な結果は、当社の FreeU が、Stable Diffusion、DreamBooth、ModelScope、Rerender、ReVersion などの既存の拡散モデルに容易に統合でき、わずか数行のコードで生成品質を向上できることを示しています。
必要なのは、推論中に 2 つのスケール係数を調整することだけです。
プロジェクトページ：https://chenyangsi.top/FreeU/。

要約(オリジナル)

In this paper, we uncover the untapped potential of diffusion U-Net, which serves as a ‘free lunch’ that substantially improves the generation quality on the fly. We initially investigate the key contributions of the U-Net architecture to the denoising process and identify that its main backbone primarily contributes to denoising, whereas its skip connections mainly introduce high-frequency features into the decoder module, causing the network to overlook the backbone semantics. Capitalizing on this discovery, we propose a simple yet effective method-termed ‘FreeU’ – that enhances generation quality without additional training or finetuning. Our key insight is to strategically re-weight the contributions sourced from the U-Net’s skip connections and backbone feature maps, to leverage the strengths of both components of the U-Net architecture. Promising results on image and video generation tasks demonstrate that our FreeU can be readily integrated to existing diffusion models, e.g., Stable Diffusion, DreamBooth, ModelScope, Rerender and ReVersion, to improve the generation quality with only a few lines of code. All you need is to adjust two scaling factors during inference. Project page: https://chenyangsi.top/FreeU/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google