IG-CFAT: An Improved GAN-Based Framework for Effectively Exploiting Transformers in Real-World Image Super-Resolution

要約

シングル画像のスーパー解像度（SISR）の分野では、トランスベースのモデルが重要な進歩を示しています。
ただし、現実世界の画像超解像度などの適用された分野でのこれらのモデルの潜在的および効率性はあまり気づかれておらず、改善の大きな機会があります。
最近、Composite Fusion Attunes Transformer（CFAT）は、古典的な画像超解像度で以前の最先端（SOTA）モデルよりも優れていました。
このホワイトペーパーでは、CFATモデルを組み込んで、実際の画像超解像度で変圧器のパフォーマンスを効果的に活用することにより、新しいGanベースのフレームワークを提案します。
提案されたアプローチでは、セマンティックアウェアの判別器を統合して、詳細をより正確に再構築し、適応劣化モデルを採用して、実際の劣化をよりよくシミュレートします。
さらに、GANベースのモデルの損失関数にウェーブレット損失を追加して、高周波の詳細をよりよく回復することにより、損失関数の新しい組み合わせを導入します。
経験的結果は、Ig-CFATが定量的および定性的指標の両方で既存のSOTAモデルを大幅に上回ることを示しています。
提案されているモデルは、現実世界のイメージの超解像度の分野に革命をもたらし、細かい詳細を回復し、現実的なテクスチャを生成する際に大幅に優れたパフォーマンスを示しています。
IG-CFATの導入は、現実世界の画像スーパー解像度タスクの堅牢で適応性のあるソリューションを提供します。

要約(オリジナル)

In the field of single image super-resolution (SISR), transformer-based models, have demonstrated significant advancements. However, the potential and efficiency of these models in applied fields such as real-world image super-resolution have been less noticed and there are substantial opportunities for improvement. Recently, composite fusion attention transformer (CFAT), outperformed previous state-of-the-art (SOTA) models in classic image super-resolution. In this paper, we propose a novel GAN-based framework by incorporating the CFAT model to effectively exploit the performance of transformers in real-world image super-resolution. In our proposed approach, we integrate a semantic-aware discriminator to reconstruct fine details more accurately and employ an adaptive degradation model to better simulate real-world degradations. Moreover, we introduce a new combination of loss functions by adding wavelet loss to loss functions of GAN-based models to better recover high-frequency details. Empirical results demonstrate that IG-CFAT significantly outperforms existing SOTA models in both quantitative and qualitative metrics. Our proposed model revolutionizes the field of real-world image super-resolution and demonstrates substantially better performance in recovering fine details and generating realistic textures. The introduction of IG-CFAT offers a robust and adaptable solution for real-world image super-resolution tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google