Progressive Motion Context Refine Network for Efficient Video Frame Interpolation

要約

最近、フローベースのフレーム補間法は、最初にターゲット フレームと入力フレーム間のオプティカル フローをモデル化し、次にターゲット フレーム生成用の合成ネットワークを構築することで大きな成功を収めました。
ただし、上記のカスケード アーキテクチャでは、モデルのサイズが大きくなり、推論の遅延が発生する可能性があり、モバイル アプリケーションやリアルタイム アプリケーションでの使用が妨げられます。
この問題を解決するために、新しいプログレッシブ モーション コンテキスト リファイン ネットワーク (PMCRNet) を提案して、モーション フィールドと画像コンテキストを共同で予測し、効率を高めます。
深い機能からターゲット フレームを直接合成する他のものとは異なり、隣接する入力フレームから既存のテクスチャを借用することにより、フレーム補間タスクを簡素化することを検討します。つまり、PMCRNet の各ピラミッド レベルのデコーダーは、より簡単な中間オプティカル フロー、オクルージョン マージを更新するだけで済みます。
マスクと画像の残差。
さらに、この効率的な PMCRNet の学習プロセスをより適切にガイドするために、新しいアニールされたマルチスケール再構成損失を導入します。
複数のベンチマークでの実験は、提案されたアプローチが好ましい定量的および定性的な結果を達成するだけでなく、現在のモデルのサイズと実行時間を大幅に削減することを示しています。

要約(オリジナル)

Recently, flow-based frame interpolation methods have achieved great success by first modeling optical flow between target and input frames, and then building synthesis network for target frame generation. However, above cascaded architecture can lead to large model size and inference delay, hindering them from mobile and real-time applications. To solve this problem, we propose a novel Progressive Motion Context Refine Network (PMCRNet) to predict motion fields and image context jointly for higher efficiency. Different from others that directly synthesize target frame from deep feature, we explore to simplify frame interpolation task by borrowing existing texture from adjacent input frames, which means that decoder in each pyramid level of our PMCRNet only needs to update easier intermediate optical flow, occlusion merge mask and image residual. Moreover, we introduce a new annealed multi-scale reconstruction loss to better guide the learning process of this efficient PMCRNet. Experiments on multiple benchmarks show that proposed approaches not only achieve favorable quantitative and qualitative results but also reduces current model size and running time significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google