NegVSR: Augmenting Negatives for Generalized Noise Modeling in Real-World Video Super-Resolution

要約

理想的なデータセットから高解像度 (HR) ビデオを合成するビデオ超解像度 (VSR) の機能は、多くの研究で実証されています。
ただし、未知の複雑な劣化を伴う現実世界のビデオに VSR モデルを適用することは依然として困難な作業です。
まず、ほとんどの VSR 手法における既存の劣化メトリクスは、現実世界のノイズとブラーを効果的にシミュレートできません。
それどころか、古典的な劣化の単純な組み合わせが現実世界のノイズ モデリングに使用されるため、VSR モデルが分布外ノイズによって違反されることがよくありました。
次に、多くの SR モデルはノイズのシミュレーションと伝達に重点を置いています。
それにもかかわらず、サンプリングされたノイズは単調で限定的です。
前述の問題に対処するために、ビデオ超解像度 (NegVSR) タスクにおける一般化ノイズ モデリングのためのネガティブ拡張戦略を提案します。
具体的には、まず、実用的なノイズシーケンスを抽出するために、実世界のデータに向かって逐次ノイズを生成することを提案します。
次に、縮退領域は負の拡張によって広く拡張され、さまざまでありながら困難な現実世界のノイズ セットが構築されます。
さらに、拡張ネガの中でロバストな特徴を効果的に学習するために、拡張ネガガイダンス損失を提案します。
実世界のデータセット (VideoLQ や FLIR など) での広範な実験により、私たちの方法が、特に視覚的な品質において、明確なマージンを持って最先端の方法よりも優れていることが示されています。
プロジェクト ページは https://negvsr.github.io/ から入手できます。

要約(オリジナル)

The capability of video super-resolution (VSR) to synthesize high-resolution (HR) video from ideal datasets has been demonstrated in many works. However, applying the VSR model to real-world video with unknown and complex degradation remains a challenging task. First, existing degradation metrics in most VSR methods are not able to effectively simulate real-world noise and blur. On the contrary, simple combinations of classical degradation are used for real-world noise modeling, which led to the VSR model often being violated by out-of-distribution noise. Second, many SR models focus on noise simulation and transfer. Nevertheless, the sampled noise is monotonous and limited. To address the aforementioned problems, we propose a Negatives augmentation strategy for generalized noise modeling in Video Super-Resolution (NegVSR) task. Specifically, we first propose sequential noise generation toward real-world data to extract practical noise sequences. Then, the degeneration domain is widely expanded by negative augmentation to build up various yet challenging real-world noise sets. We further propose the augmented negative guidance loss to learn robust features among augmented negatives effectively. Extensive experiments on real-world datasets (e.g., VideoLQ and FLIR) show that our method outperforms state-of-the-art methods with clear margins, especially in visual quality. Project page is available at: https://negvsr.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google