Boosting Video Super Resolution with Patch-Based Temporal Redundancy Optimization

要約

既存のビデオ超解像（VSR）アルゴリズムの成功は、主に隣接するフレームからの時間情報を利用することに起因します。
ただし、これらの方法はいずれも、静止オブジェクトと背景を持つパッチの時間的冗長性の影響について説明しておらず、通常、隣接するフレームのすべての情報を区別せずに使用します。
このホワイトペーパーでは、時間的な冗長性が情報の伝播に悪影響を及ぼし、既存のVSRメソッドのパフォーマンスを制限することを確認します。
この観察に動機付けられて、最適化された方法で時間的冗長パッチを処理することにより、既存のVSRアルゴリズムを改善することを目指しています。
広く使用されている公開ビデオでの既存のローカルおよび非ローカル伝搬ベースのVSRアルゴリズムのパフォーマンスを向上させるために、2つのシンプルで効果的なプラグアンドプレイ方式を開発します。
既存のVSRアルゴリズムの堅牢性とパフォーマンスをより包括的に評価するために、テストセットとしてさまざまな公開ビデオを含む新しいデータセットも収集します。
広範な評価は、提案された方法が、既存の一般的に使用されるデータセットでのパフォーマンスを維持しながら、野生のシナリオから収集されたビデオでの既存のVSRメソッドのパフォーマンスを大幅に改善できることを示しています。
コードはhttps://github.com/HYHsimon/Boosted-VSRで入手できます。

要約(オリジナル)

The success of existing video super-resolution (VSR) algorithms stems mainly exploiting the temporal information from the neighboring frames. However, none of these methods have discussed the influence of the temporal redundancy in the patches with stationary objects and background and usually use all the information in the adjacent frames without any discrimination. In this paper, we observe that the temporal redundancy will bring adverse effect to the information propagation,which limits the performance of the most existing VSR methods. Motivated by this observation, we aim to improve existing VSR algorithms by handling the temporal redundancy patches in an optimized manner. We develop two simple yet effective plug and play methods to improve the performance of existing local and non-local propagation-based VSR algorithms on widely-used public videos. For more comprehensive evaluating the robustness and performance of existing VSR algorithms, we also collect a new dataset which contains a variety of public videos as testing set. Extensive evaluations show that the proposed methods can significantly improve the performance of existing VSR methods on the collected videos from wild scenarios while maintain their performance on existing commonly used datasets. The code is available at https://github.com/HYHsimon/Boosted-VSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google