Boosting Video Super Resolution with Patch-Based Temporal Redundancy Optimization

要約

既存の映像超解像（VSR）アルゴリズムの成功は，主に隣接フレームの時間情報を利用することに起因している．しかし，これらの手法では，物体や背景が静止しているパッチにおける時間的冗長性の影響について議論されておらず，通常，隣接するフレームの情報を区別することなくすべて使用している．本論文では，時間的冗長性が情報伝播に悪影響を及ぼし，既存のVSR手法の性能を制限していることを明らかにする．この観測に動機付けられ、我々は時間的冗長性パッチを最適な方法で扱うことにより、既存のVSRアルゴリズムを改善することを目的とする。我々は、広く利用されている公共映像において、既存の局所・非局所伝搬に基づくVSRアルゴリズムの性能を向上させるために、シンプルで効果的なプラグアンドプレイ手法を2つ開発する。また、既存のVSRアルゴリズムの頑健性と性能をより包括的に評価するために、様々なパブリックビデオを含む新しいデータセットをテストセットとして収集する。提案手法は、既存の一般的なデータセットにおける性能を維持したまま、収集した野生場面からの映像において、既存のVSR手法の性能を大幅に改善できることが、広範な評価によって示された。コードは https://github.com/HYHsimon/Boosted-VSR で公開されています。

要約(オリジナル)

The success of existing video super-resolution (VSR) algorithms stems mainly exploiting the temporal information from the neighboring frames. However, none of these methods have discussed the influence of the temporal redundancy in the patches with stationary objects and background and usually use all the information in the adjacent frames without any discrimination. In this paper, we observe that the temporal redundancy will bring adverse effect to the information propagation,which limits the performance of the most existing VSR methods. Motivated by this observation, we aim to improve existing VSR algorithms by handling the temporal redundancy patches in an optimized manner. We develop two simple yet effective plug and play methods to improve the performance of existing local and non-local propagation-based VSR algorithms on widely-used public videos. For more comprehensive evaluating the robustness and performance of existing VSR algorithms, we also collect a new dataset which contains a variety of public videos as testing set. Extensive evaluations show that the proposed methods can significantly improve the performance of existing VSR methods on the collected videos from wild scenarios while maintain their performance on existing commonly used datasets. The code is available at https://github.com/HYHsimon/Boosted-VSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL