Frequency-Domain Refinement with Multiscale Diffusion for Super Resolution

要約

単一画像の超解像度のパフォーマンスは、高周波の詳細を生成して低解像度画像に補完する方法に大きく依存します。
最近、拡散ベースのモデルは、超解像度タスク用の高品質画像を生成する上で大きな可能性を示しています。
ただし、既存のモデルでは、すべてのサンプリング タイムステップのターゲットとして高解像度のグランド トゥルースのみを利用して、広帯域幅の高周波情報を直接予測することが困難になります。
この問題に取り組み、より高品質の超解像を実現するために、我々は、高周波情報補完プロセスをより細かいステップに分解する、新しい周波数ドメイン誘導マルチスケール拡散モデル (FDDiff) を提案します。
特に、ウェーブレット パケット ベースの周波数補完チェーンは、逆拡散プロセスの帯域幅を増加させてマルチスケールの中間ターゲットを提供するために開発されています。
次に、FDDiff は逆拡散プロセスをガイドし、タイムステップごとに欠落している高周波の詳細を段階的に補完します。
さらに、1 つの統合ネットワーク内で複数のスケールで必要な高周波成分を予測するためのマルチスケール周波数リファインメント ネットワークを設計します。
一般的なベンチマークに関する包括的な評価が実施され、FDDiff がより忠実度の高い超解像度結果で以前の生成手法よりも優れていることが実証されました。

要約(オリジナル)

The performance of single image super-resolution depends heavily on how to generate and complement high-frequency details to low-resolution images. Recently, diffusion-based models exhibit great potential in generating high-quality images for super-resolution tasks. However, existing models encounter difficulties in directly predicting high-frequency information of wide bandwidth by solely utilizing the high-resolution ground truth as the target for all sampling timesteps. To tackle this problem and achieve higher-quality super-resolution, we propose a novel Frequency Domain-guided multiscale Diffusion model (FDDiff), which decomposes the high-frequency information complementing process into finer-grained steps. In particular, a wavelet packet-based frequency complement chain is developed to provide multiscale intermediate targets with increasing bandwidth for reverse diffusion process. Then FDDiff guides reverse diffusion process to progressively complement the missing high-frequency details over timesteps. Moreover, we design a multiscale frequency refinement network to predict the required high-frequency components at multiple scales within one unified network. Comprehensive evaluations on popular benchmarks are conducted, and demonstrate that FDDiff outperforms prior generative methods with higher-fidelity super-resolution results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google