Local Implicit Normalizing Flow for Arbitrary-Scale Image Super-Resolution

要約

フローベースの手法は、正規化フローを使用して高解像度 (HR) 画像の分布を学習することで、超解像度 (SR) の不適切な性質に対処する有望な結果を実証しています。
ただし、これらのメソッドは事前定義された固定スケール SR しか実行できないため、実際のアプリケーションでの可能性は限られています。
一方、任意スケールSRは注目を集め、大きな進歩を遂げています。
それにもかかわらず、以前の任意スケール SR 手法では、不適切な設定の問題が無視され、ピクセルごとの L1 損失を使用してモデルがトレーニングされるため、SR 出力が不鮮明になります。
この研究では、上記の問題に対する統一的な解決策として「ローカル暗黙的正規化フロー」(LINF) を提案します。
LINF は、正規化されたフローを使用して、さまざまなスケーリング係数の下でテクスチャの詳細の分布をモデル化します。
したがって、LINF は、任意のスケール係数で豊富なテクスチャ詳細を備えた写真のようにリアルな HR 画像を生成できます。
我々は広範な実験でLINFを評価し、LINFが従来の任意スケールのSR手法と比較して最先端の知覚品質を達成していることを示した。

要約(オリジナル)

Flow-based methods have demonstrated promising results in addressing the ill-posed nature of super-resolution (SR) by learning the distribution of high-resolution (HR) images with the normalizing flow. However, these methods can only perform a predefined fixed-scale SR, limiting their potential in real-world applications. Meanwhile, arbitrary-scale SR has gained more attention and achieved great progress. Nonetheless, previous arbitrary-scale SR methods ignore the ill-posed problem and train the model with per-pixel L1 loss, leading to blurry SR outputs. In this work, we propose ‘Local Implicit Normalizing Flow’ (LINF) as a unified solution to the above problems. LINF models the distribution of texture details under different scaling factors with normalizing flow. Thus, LINF can generate photo-realistic HR images with rich texture details in arbitrary scale factors. We evaluate LINF with extensive experiments and show that LINF achieves the state-of-the-art perceptual quality compared with prior arbitrary-scale SR methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google