IG-CFAT: An Improved GAN-Based Framework for Effectively Exploiting Transformers in Real-World Image Super-Resolution

要約

単一画像超解像度 (SISR) の分野では、トランスベースのモデルが大幅な進歩を遂げています。
ただし、現実世界の画像の超​​解像度などの応用分野におけるこれらのモデルの可能性と効率性はあまり注目されておらず、改善の余地は十分にあります。
最近、コンポジット フュージョン アテンション トランスフォーマー (CFAT) は、古典的な画像の超解像度において、以前の最先端 (SOTA) モデルを上回りました。
この論文では、実世界の画像超解像度におけるトランスフォーマーの性能を効果的に活用するために、CFAT モデルを組み込むことにより、新しい GAN ベースのフレームワークを提案します。
私たちが提案するアプローチでは、意味論を意識した弁別器を統合して細部をより正確に再構築し、適応劣化モデルを採用して現実世界の劣化をより適切にシミュレートします。
さらに、GAN ベースのモデルの損失関数にウェーブレット損失を追加することで、損失関数の新しい組み合わせを導入し、高周波の詳細をより適切に復元します。
実証結果は、IG-CFAT が定量的および定性的指標の両方で既存の SOTA モデルよりも大幅に優れていることを示しています。
私たちが提案したモデルは、現実世界の画像の超​​解像度の分野に革命をもたらし、細部の復元とリアルなテクスチャの生成において大幅に優れたパフォーマンスを示します。
IG-CFAT の導入により、現実世界の画像の超​​解像度タスクに堅牢で適応性のあるソリューションが提供されます。

要約(オリジナル)

In the field of single image super-resolution (SISR), transformer-based models, have demonstrated significant advancements. However, the potential and efficiency of these models in applied fields such as real-world image super-resolution have been less noticed and there are substantial opportunities for improvement. Recently, composite fusion attention transformer (CFAT), outperformed previous state-of-the-art (SOTA) models in classic image super-resolution. In this paper, we propose a novel GAN-based framework by incorporating the CFAT model to effectively exploit the performance of transformers in real-world image super-resolution. In our proposed approach, we integrate a semantic-aware discriminator to reconstruct fine details more accurately and employ an adaptive degradation model to better simulate real-world degradations. Moreover, we introduce a new combination of loss functions by adding wavelet loss to loss functions of GAN-based models to better recover high-frequency details. Empirical results demonstrate that IG-CFAT significantly outperforms existing SOTA models in both quantitative and qualitative metrics. Our proposed model revolutionizes the field of real-world image super-resolution and demonstrates substantially better performance in recovering fine details and generating realistic textures. The introduction of IG-CFAT offers a robust and adaptable solution for real-world image super-resolution tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google