Optical Flow Reusing for High-Efficiency Space-Time Video Super Resolution

要約

この論文では、特定のビデオの空間解像度とフレームレートを同時に向上させることができる時空間ビデオ超解像 (ST-VSR) のタスクを検討します。
最近の方法は目覚ましい進歩を遂げていますが、それらのほとんどは依然として計算コストが高く、長距離情報の使用が非効率的です。
これらの問題を軽減するために、高効率の再構成のために長距離隣接フレームからの時間的知識をより適切に使用するために、オプティカルフロー再利用戦略を備えた双方向再帰ネットワーク（BRN）を提案します。
具体的には、隣接するフレームの中間フローを再利用することにより、効率的でメモリを節約するマルチフレームモーション利用戦略が提案されます。これにより、従来のLSTMベースの設計と比較して、フレームアライメントの計算負荷が大幅に削減されます。
さらに、BRN で提案されている隠れ状態は、再利用されたオプティカル フローによって更新され、さらなる最適化のために Feature Refinement Module (FRM) によって洗練されます。
さらに、中間フロー推定を利用することにより、提案された方法は、非線形の動きを推測し、詳細をより良く復元することができます。
広範な実験により、当社のオプティカル フロー再利用ベースの双方向リカレント ネットワーク (OFR-BRN) は、最先端の方法よりも精度と効率が優れていることが実証されています。

要約(オリジナル)

In this paper, we consider the task of space-time video super-resolution (ST-VSR), which can increase the spatial resolution and frame rate for a given video simultaneously. Despite the remarkable progress of recent methods, most of them still suffer from high computational costs and inefficient long-range information usage. To alleviate these problems, we propose a Bidirectional Recurrence Network (BRN) with the optical-flow-reuse strategy to better use temporal knowledge from long-range neighboring frames for high-efficiency reconstruction. Specifically, an efficient and memory-saving multi-frame motion utilization strategy is proposed by reusing the intermediate flow of adjacent frames, which considerably reduces the computation burden of frame alignment compared with traditional LSTM-based designs. In addition, the proposed hidden state in BRN is updated by the reused optical flow and refined by the Feature Refinement Module (FRM) for further optimization. Moreover, by utilizing intermediate flow estimation, the proposed method can inference non-linear motion and restore details better. Extensive experiments demonstrate that our optical-flow-reuse-based bidirectional recurrent network (OFR-BRN) is superior to state-of-the-art methods in accuracy and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google