Sparse Global Matching for Video Frame Interpolation with Large Motion

要約

大きな動きは、ビデオ フレーム補間 (VFI) タスクにおいて重大な課題を引き起こします。
既存の方法は限られた受容野によって制約されることが多く、大きな動きを伴うシナリオを処理する場合には最適なパフォーマンスが得られません。
このペーパーでは、グローバルレベルの情報を効果的に統合して、大きな動きに関連する問題を軽減できる、VFI 用の新しいパイプラインを紹介します。
具体的には、まず、局所的な詳細を抽出するための高解像度の特徴マップを使用して、最初の中間フローのペアを推定します。
次に、フロー推定を補償するためにスパース グローバル マッチング ブランチを組み込みます。これは、初期フローの欠陥を特定し、グローバル受容野を使用してスパース フロー補償を生成することで構成されます。
最後に、初期流量推定と全体的な流量補償を適応的に結合し、より正確な中間流量を生成します。
大きな動きを処理する際の手法の有効性を評価するために、一般的に使用されるベンチマークからより困難なサブセットを注意深く厳選します。
私たちの方法は、動きの大きいこれらの VFI サブセットに対する最先端のパフォーマンスを実証します。

要約(オリジナル)

Large motion poses a critical challenge in Video Frame Interpolation (VFI) task. Existing methods are often constrained by limited receptive fields, resulting in sub-optimal performance when handling scenarios with large motion. In this paper, we introduce a new pipeline for VFI, which can effectively integrate global-level information to alleviate issues associated with large motion. Specifically, we first estimate a pair of initial intermediate flows using a high-resolution feature map for extracting local details. Then, we incorporate a sparse global matching branch to compensate for flow estimation, which consists of identifying flaws in initial flows and generating sparse flow compensation with a global receptive field. Finally, we adaptively merge the initial flow estimation with global flow compensation, yielding a more accurate intermediate flow. To evaluate the effectiveness of our method in handling large motion, we carefully curate a more challenging subset from commonly used benchmarks. Our method demonstrates the state-of-the-art performance on these VFI subsets with large motion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google