IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame Interpolation with Events

要約

ビデオ フレーム補間は、境界フレームから高品質の中間フレームを生成し、フレーム レートを向上させることを目的としています。
既存の線形モデル、対称モデル、および非線形モデルは、フレーム間の動きの欠如によるギャップを埋めるために使用されますが、実際の動きを再構築することはできません。
ただし、イベント カメラは、非常に高い時間解像度でフレーム間のダイナミクスをキャプチャするのに最適です。
この論文では、オプティカル フロー ガイダンスを介してさまざまなサブ領域にさまざまな計算量を割り当てる、IDO-VFI と呼ばれるイベントおよびフレームベースのビデオ フレーム補間方法を提案します。
提案された方法は、最初にフレームとイベントに基づいてオプティカル フローを推定し、次にオプティカル フローの振幅に応じてガンベル ゲーティング モジュールを介してこれらのサブ領域内の残留オプティカル フローをさらに計算するかどうかを決定します。
中間フレームは、最終的には、簡潔な Transformer ベースのフュージョン ネットワークを通じて生成されます。
私たちが提案した手法は、領域全体で統一されたプロセスと比較して、Vimeo90K データセットで計算時間と計算量をそれぞれ 10% と 17% 削減しながら、高品質のパフォーマンスを維持します。
さらに、私たちの手法は、複数のビデオ フレーム補間ベンチマークにおいて、最先端のフレームのみの手法やフレームとイベントを組み合わせた手法よりも優れたパフォーマンスを発揮します。
コードとモデルは https://github.com/shicy17/IDO-VFI で入手できます。

要約(オリジナル)

Video frame interpolation aims to generate high-quality intermediate frames from boundary frames and increase frame rate. While existing linear, symmetric and nonlinear models are used to bridge the gap from the lack of inter-frame motion, they cannot reconstruct real motions. Event cameras, however, are ideal for capturing inter-frame dynamics with their extremely high temporal resolution. In this paper, we propose an event-and-frame-based video frame interpolation method named IDO-VFI that assigns varying amounts of computation for different sub-regions via optical flow guidance. The proposed method first estimates the optical flow based on frames and events, and then decides whether to further calculate the residual optical flow in those sub-regions via a Gumbel gating module according to the optical flow amplitude. Intermediate frames are eventually generated through a concise Transformer-based fusion network. Our proposed method maintains high-quality performance while reducing computation time and computational effort by 10% and 17% respectively on Vimeo90K datasets, compared with a unified process on the whole region. Moreover, our method outperforms state-of-the-art frame-only and frames-plus-events methods on multiple video frame interpolation benchmarks. Codes and models are available at https://github.com/shicy17/IDO-VFI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google