The Best of Both Worlds: a Framework for Combining Degradation Prediction with High Performance Super-Resolution Networks

要約

現在までのところ、最も優れたブラインド超解像（SR）技術は、2つのパラダイムのうちの1つに従っています。A) 合成低解像度-高解像度（LR-HR）ペアで標準的なSRネットワークを生成してトレーニングする、B) LR画像が受けた劣化を予測し、カスタマイズされたSRネットワークに情報を提供するためにこれらを使用しようとする、この2つのパラダイムのうちの1つです。大きな進展があったにもかかわらず、前者の利用者は、SRプロセスを改善するために使用できる有用な劣化情報を見逃しています。一方、後者の信奉者は、弱いSRネットワークに依存しており、最新のアーキテクチャの進歩によって大幅に性能が低下している。この研究では、予測ベクトルをSRネットワークの特徴マップに挿入するメタデータ挿入ブロックを用いて、任意のブラインドSR予測メカニズムと任意のディープSRネットワークを組み合わせるためのフレームワークを提示します。包括的なテストを通じて、最先端の対照的予測スキームと反復的予測スキームが、我々のフレームワーク内でRCANやHANなどの高性能SRネットワークとうまく組み合わせられることを証明する。このハイブリッドモデルは、非盲検モデルや盲検モデルの両方と比較して、一貫して強力なSR性能を達成することを示す。さらに、ブレ、ノイズ、圧縮の複雑なパイプラインから劣化と超解像を予測することで、我々のフレームワークの頑健性を実証する。

要約(オリジナル)

To date, the best-performing blind super-resolution (SR) techniques follow one of two paradigms: A) generate and train a standard SR network on synthetic low-resolution – high-resolution (LR – HR) pairs or B) attempt to predict the degradations an LR image has suffered and use these to inform a customised SR network. Despite significant progress, subscribers to the former miss out on useful degradation information that could be used to improve the SR process. On the other hand, followers of the latter rely on weaker SR networks, which are significantly outperformed by the latest architectural advancements. In this work, we present a framework for combining any blind SR prediction mechanism with any deep SR network, using a metadata insertion block to insert prediction vectors into SR network feature maps. Through comprehensive testing, we prove that state-of-the-art contrastive and iterative prediction schemes can be successfully combined with high-performance SR networks such as RCAN and HAN within our framework. We show that our hybrid models consistently achieve stronger SR performance than both their non-blind and blind counterparts. Furthermore, we demonstrate our framework’s robustness by predicting degradations and super-resolving images from a complex pipeline of blurring, noise and compression.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL