Extracting Motion and Appearance via Inter-Frame Attention for Efficient Video Frame Interpolation

要約

ビデオ フレーム補間 (VFI) では、フレーム間の動きと外観の情報を効果的に抽出することが重要です。
以前の作業では、両方のタイプの情報を混合した方法で抽出するか、情報のタイプごとに個別のモジュールを精巧に作成していたため、表現のあいまいさと効率の低下につながっていました。
この論文では、統合操作を介して動きと外観情報を明示的に抽出する新しいモジュールを提案します。
具体的には、フレーム間アテンションの情報処理を再考し、そのアテンション マップを外観特徴の強調とモーション情報の抽出の両方に再利用します。
さらに、効率的な VFI のために、提案されたモジュールをハイブリッド CNN および Transformer アーキテクチャにシームレスに統合できます。
このハイブリッド パイプラインは、フレーム間の注意の計算の複雑さを軽減し、詳細な低レベル構造情報を保持できます。
実験結果は、固定タイムステップ補間と任意タイムステップ補間の両方で、この方法がさまざまなデータセットで最先端のパフォーマンスを達成することを示しています。
一方、私たちのアプローチは、パフォーマンスが近いモデルよりも計算オーバーヘッドが軽くなります。
ソース コードとモデルは、https://github.com/MCG-NJU/EMA-VFI で入手できます。

要約(オリジナル)

Effectively extracting inter-frame motion and appearance information is important for video frame interpolation (VFI). Previous works either extract both types of information in a mixed way or elaborate separate modules for each type of information, which lead to representation ambiguity and low efficiency. In this paper, we propose a novel module to explicitly extract motion and appearance information via a unifying operation. Specifically, we rethink the information process in inter-frame attention and reuse its attention map for both appearance feature enhancement and motion information extraction. Furthermore, for efficient VFI, our proposed module could be seamlessly integrated into a hybrid CNN and Transformer architecture. This hybrid pipeline can alleviate the computational complexity of inter-frame attention as well as preserve detailed low-level structure information. Experimental results demonstrate that, for both fixed- and arbitrary-timestep interpolation, our method achieves state-of-the-art performance on various datasets. Meanwhile, our approach enjoys a lighter computation overhead over models with close performance. The source code and models are available at https://github.com/MCG-NJU/EMA-VFI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google