FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis

要約

この研究では、事前トレーニングされた拡散モデルからの高解像度画像の生成を詳しく調査し、モデルがトレーニングされた解像度を超えて適用された場合に発生する、反復パターンや構造の歪みなどの永続的な課題に対処します。
この問題に対処するために、周波数領域解析の観点から革新的でトレーニング不要のアプローチ FouriScale を導入します。
解像度全体で構造の一貫性とスケールの一貫性をそれぞれ達成することを目的として、ローパス操作とともに膨張技術を組み込むことで、事前トレーニングされた拡散モデル内の元の畳み込み層を置き換えます。
パディングしてからクロップする戦略によってさらに強化されたこの方法は、さまざまなアスペクト比のテキストから画像への生成を柔軟に処理できます。
FouriScale をガイダンスとして使用することで、私たちの方法は生成された画像の構造的完全性と忠実性のバランスに成功し、任意のサイズ、高解像度、高品質の生成という驚異的な能力を実現します。
そのシンプルさと互換性により、私たちの方法は、超高解像度画像の合成の将来の探求に貴重な洞察を提供できます。
コードは https://github.com/LeonHLJ/FouriScale で公開されます。

要約(オリジナル)

In this study, we delve into the generation of high-resolution images from pre-trained diffusion models, addressing persistent challenges, such as repetitive patterns and structural distortions, that emerge when models are applied beyond their trained resolutions. To address this issue, we introduce an innovative, training-free approach FouriScale from the perspective of frequency domain analysis. We replace the original convolutional layers in pre-trained diffusion models by incorporating a dilation technique along with a low-pass operation, intending to achieve structural consistency and scale consistency across resolutions, respectively. Further enhanced by a padding-then-crop strategy, our method can flexibly handle text-to-image generation of various aspect ratios. By using the FouriScale as guidance, our method successfully balances the structural integrity and fidelity of generated images, achieving an astonishing capacity of arbitrary-size, high-resolution, and high-quality generation. With its simplicity and compatibility, our method can provide valuable insights for future explorations into the synthesis of ultra-high-resolution images. The code will be released at https://github.com/LeonHLJ/FouriScale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google