Blind Super-Resolution for Remote Sensing Images via Conditional Stochastic Normalizing Flows

要約

実際のシーンのリモート センシング画像 (RSI) は、光学的ぼかし、アンダーサンプリング、追加のノイズなどの複数の要因によって妨げられる可能性があり、その結果、複雑で多様な劣化モデルが生じます。
現在、主流の SR アルゴリズムは、単一の固定された劣化 (双三次補間など) のみを考慮しており、実際のシーンでの複雑な劣化を柔軟に処理することはできません。
そこで、さまざまな劣化に対応できる超解像（SR）モデルの設計が研究者の注目を集めつつあります。
一部の研究では、最初に劣化カーネルを推定し、次に劣化適応SRを実行しますが、推定誤差の増幅と結果の不十分な高周波詳細の問題に直面しています。
Generative Adversarial Network (GAN) に基づくブラインド SR アルゴリズムは視覚的な品質を大幅に改善しましたが、疑似テクスチャ、モードの崩壊、トレーニングの安定性の悪さにはまだ悩まされています。
この記事では、上記の問題に対処するために、確率的正規化フロー (BlindSRSNF) に基づく新しいブラインド SR フレームワークを提案します。
BlindSRSNF は、尤度の変分限界を明示的に最適化することにより、低解像度 (LR) 画像を指定して、高解像度画像空間での条件付き確率分布を学習します。
BlindSRSNF はトレーニングが簡単で、GAN ベースのモデルよりも優れたフォトリアリスティックな SR 結果を生成できます。
さらに、明示的な劣化推定によって引き起こされるエラー増幅の問題を回避するために、対照学習に基づく劣化表現戦略を導入します。
包括的な実験は、提案されたアルゴリズムが、シミュレートされた LR と現実世界の RSI の両方で優れた視覚品質の SR 結果を取得できることを示しています。

要約(オリジナル)

Remote sensing images (RSIs) in real scenes may be disturbed by multiple factors such as optical blur, undersampling, and additional noise, resulting in complex and diverse degradation models. At present, the mainstream SR algorithms only consider a single and fixed degradation (such as bicubic interpolation) and cannot flexibly handle complex degradations in real scenes. Therefore, designing a super-resolution (SR) model that can cope with various degradations is gradually attracting the attention of researchers. Some studies first estimate the degradation kernels and then perform degradation-adaptive SR but face the problems of estimation error amplification and insufficient high-frequency details in the results. Although blind SR algorithms based on generative adversarial networks (GAN) have greatly improved visual quality, they still suffer from pseudo-texture, mode collapse, and poor training stability. In this article, we propose a novel blind SR framework based on the stochastic normalizing flow (BlindSRSNF) to address the above problems. BlindSRSNF learns the conditional probability distribution over the high-resolution image space given a low-resolution (LR) image by explicitly optimizing the variational bound on the likelihood. BlindSRSNF is easy to train and can generate photo-realistic SR results that outperform GAN-based models. Besides, we introduce a degradation representation strategy based on contrastive learning to avoid the error amplification problem caused by the explicit degradation estimation. Comprehensive experiments show that the proposed algorithm can obtain SR results with excellent visual perception quality on both simulated LR and real-world RSIs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google