RectifiedHR: Enable Efficient High-Resolution Image Generation via Energy Rectification

要約

拡散モデルは、さまざまな画像生成タスクで顕著な進歩を達成しています。
ただし、トレーニング期間中に使用されたものよりも高い解像度で画像を生成すると、パフォーマンスは著しく低下します。
高解像度の画像を生成するための多数の方法が存在しているにもかかわらず、それらは非効率性に苦しむか、複雑な操作によって妨げられています。
この論文では、トレーニングのない高解像度の画像生成のための簡単で効率的なソリューションであるRectifiedHrを提案します。
具体的には、モデルの高解像度の生成能力のロックを解除し、効率を改善するために、理論的には数行のコードのみが必要なノイズリフレッシュ戦略を導入します。
さらに、最初に、高解像度の画像生成プロセス中に画像のぼやきを引き起こす可能性のあるエネルギー崩壊の現象を観察します。
この問題に対処するために、平均潜在エネルギー分析を導入し、改善された分類器のないガイダンスハイパーパラメーターが生成パフォーマンスを大幅に向上させることができることを発見します。
私たちの方法は完全にトレーニングなしであり、簡単な実装ロジックと効率的なパフォーマンスを誇っています。
多数のベースライン方法との広範な比較を通じて、当社のRectifiedHRは優れた有効性と効率性を示しています。

要約(オリジナル)

Diffusion models have achieved remarkable advances in various image generation tasks. However, their performance notably declines when generating images at resolutions higher than those used during the training period. Despite the existence of numerous methods for producing high-resolution images, they either suffer from inefficiency or are hindered by complex operations. In this paper, we propose RectifiedHR, an straightforward and efficient solution for training-free high-resolution image generation. Specifically, we introduce the noise refresh strategy, which theoretically only requires a few lines of code to unlock the model’s high-resolution generation ability and improve efficiency. Additionally, we first observe the phenomenon of energy decay that may cause image blurriness during the high-resolution image generation process. To address this issue, we introduce average latent energy analysis and discover that an improved classifier-free guidance hyperparameter can significantly enhance generation performance. Our method is entirely training-free and boasts a simple implementation logic and efficient performance. Through extensive comparisons with numerous baseline methods, our RectifiedHR demonstrates superior effectiveness and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google