Mitigating Artifacts in Real-World Video Super-Resolution Models

要約

再帰構造は、ビデオの超解像のタスクの一般的なフレームワークであり、隠れた状態を介してフレーム間の時間的な依存関係をモデル化します。
未知の複雑な劣化を伴う現実世界のシナリオに適用すると、隠れた状態に不快なアーティファクトが含まれ、復元されたフレームに伝播する傾向があります。
この状況では、私たちの分析は、隠れた状態をよりクリーンな対応物に置き換えると、そのようなアーティファクトを大幅に軽減できることを示しています。
観測に基づいて、現実世界のビデオ超解像のアーティファクトを軽減するための Hidden State Attention (HSA) モジュールを提案します。
具体的には、最初にさまざまな安価なフィルターを採用して、隠れ状態プールを生成します。
たとえば、ガウスぼかしフィルターはアーティファクトを滑らかにするためのものであり、シャープ化フィルターはディテールを強調するためのものです。
非表示状態プールからより少ないアーティファクトを含む新しい非表示状態を集約するために、入力機能と各非表示状態の間の注意が計算される選択的相互注意 (SCA) モジュールを考案します。
HSA を搭載した提案手法 FastRealVSR は、Real-BasicVSR に比べて 2 倍の高速化と高速化を実現しています。
コードは https://github.com/TencentARC/FastRealVSR で入手できます

要約(オリジナル)

The recurrent structure is a prevalent framework for the task of video super-resolution, which models the temporal dependency between frames via hidden states. When applied to real-world scenarios with unknown and complex degradations, hidden states tend to contain unpleasant artifacts and propagate them to restored frames. In this circumstance, our analyses show that such artifacts can be largely alleviated when the hidden state is replaced with a cleaner counterpart. Based on the observations, we propose a Hidden State Attention (HSA) module to mitigate artifacts in real-world video super-resolution. Specifically, we first adopt various cheap filters to produce a hidden state pool. For example, Gaussian blur filters are for smoothing artifacts while sharpening filters are for enhancing details. To aggregate a new hidden state that contains fewer artifacts from the hidden state pool, we devise a Selective Cross Attention (SCA) module, in which the attention between input features and each hidden state is calculated. Equipped with HSA, our proposed method, namely FastRealVSR, is able to achieve 2x speedup while obtaining better performance than Real-BasicVSR. Codes will be available at https://github.com/TencentARC/FastRealVSR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google