A Feature Reuse Framework with Texture-adaptive Aggregation for Reference-based Super-Resolution

要約

参照画像に基づく超解像（RefSR）は、高解像度の参照画像を追加することで、低解像度（LR）入力をより高い周波数の詳細で再構成し、単一画像超解像（SISR）のいくつかの制限を克服することにより、超解像分野で大きな成功を収めました。RefSRの分野におけるこれまでの研究では、主に2つの重要な側面に焦点が当てられてきました。1つ目は、LR画像と参照画像（Ref）の間の正確な対応関係マッチングです。もう一つは、Ref画像から類似のテクスチャ情報を効果的に転送し、集約することです。しかしながら、知覚的損失と逆境的損失という重要な詳細が過小評価されており、これはテクスチャ転送と再構成に一定の悪影響を与える。本研究では、知覚的損失と敵対的損失の悪影響を軽減するために、異なる段階を通してステップバイステップのテクスチャ再構成プロセスをガイドする特徴再利用フレームワークを提案する。特徴再利用フレームワークは、あらゆるRefSRモデルに使用でき、いくつかのRefSRアプローチは、我々のフレームワークを使用して再トレーニングされた後、その性能を向上させています。さらに、単一画像特徴埋め込みモジュールとテクスチャ適応型集計モジュールを紹介する。単一画像特徴埋め込みモジュールは、LR入力自体の特徴の再構築を支援し、無関係なテクスチャが含まれる可能性を効果的に低減する。テクスチャ適応型集約モジュールは、動的なフィルタを用いて、LR入力と参照画像間のテクスチャ情報を動的に認識し、集約する。これにより、参照テクスチャの利用率を高めると同時に、参照テクスチャの誤用が減少します。ソースコードは、https://github.com/Yi-Yang355/FRFSR で公開されています。

要約(オリジナル)

Reference-based super-resolution (RefSR) has gained considerable success in the field of super-resolution with the addition of high-resolution reference images to reconstruct low-resolution (LR) inputs with more high-frequency details, thereby overcoming some limitations of single image super-resolution (SISR). Previous research in the field of RefSR has mostly focused on two crucial aspects. The first is accurate correspondence matching between the LR and the reference (Ref) image. The second is the effective transfer and aggregation of similar texture information from the Ref images. Nonetheless, an important detail of perceptual loss and adversarial loss has been underestimated, which has a certain adverse effect on texture transfer and reconstruction. In this study, we propose a feature reuse framework that guides the step-by-step texture reconstruction process through different stages, reducing the negative impacts of perceptual and adversarial loss. The feature reuse framework can be used for any RefSR model, and several RefSR approaches have improved their performance after being retrained using our framework. Additionally, we introduce a single image feature embedding module and a texture-adaptive aggregation module. The single image feature embedding module assists in reconstructing the features of the LR inputs itself and effectively lowers the possibility of including irrelevant textures. The texture-adaptive aggregation module dynamically perceives and aggregates texture information between the LR inputs and the Ref images using dynamic filters. This enhances the utilization of the reference texture while reducing reference misuse. The source code is available at https://github.com/Yi-Yang355/FRFSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL