TMP: Temporal Motion Propagation for Online Video Super-Resolution

要約

オンライン ビデオ超解像度 (オンライン VSR) は、時間情報を集約するための効果的な位置合わせモジュールに大きく依存していますが、厳格な遅延要件により、正確かつ効率的な位置合わせが非常に困難になります。
多くの進歩が達成されていますが、既存のオンライン VSR 手法のほとんどは、各フレームのモーション フィールドを個別に推定して位置合わせを実行します。これは計算的に冗長であり、隣接するフレームのモーション フィールドが相関しているという事実を無視しています。
この研究では、動きフィールドの連続性を活用して、連続するフレーム間の高速なピクセルレベルの位置合わせを実現する、効率的な時間動き伝播 (TM​​P) 方法を提案します。
具体的には、まず前のフレームから現在のフレームにオフセットを伝播し、次に近傍でオフセットを調整します。これにより、マッチング スペースが大幅に削減され、オフセット推定プロセスが高速化されます。
さらに、位置合わせのロバスト性を強化するために、ワープされたフィーチャに対して空間的な重み付けを実行し、より正確なオフセットを持つ位置に高い重要性が割り当てられます。
ベンチマーク データセットの実験により、提案された TMP 手法が最高のオンライン VSR 精度と推論速度を達成することが実証されました。
TMP のソース コードは \href{https://github.com/xtudbxk/TMP}{https://github.com/xtudbxk/TMP} にあります。

要約(オリジナル)

Online video super-resolution (online-VSR) highly relies on an effective alignment module to aggregate temporal information, while the strict latency requirement makes accurate and efficient alignment very challenging. Though much progress has been achieved, most of the existing online-VSR methods estimate the motion fields of each frame separately to perform alignment, which is computationally redundant and ignores the fact that the motion fields of adjacent frames are correlated. In this work, we propose an efficient Temporal Motion Propagation (TMP) method, which leverages the continuity of motion field to achieve fast pixel-level alignment among consecutive frames. Specifically, we first propagate the offsets from previous frames to the current frame, and then refine them in the neighborhood, which significantly reduces the matching space and speeds up the offset estimation process. Furthermore, to enhance the robustness of alignment, we perform spatial-wise weighting on the warped features, where the positions with more precise offsets are assigned higher importance. Experiments on benchmark datasets demonstrate that the proposed TMP method achieves leading online-VSR accuracy as well as inference speed. The source code of TMP can be found at \href{https://github.com/xtudbxk/TMP}{https://github.com/xtudbxk/TMP}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google