Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual Meta-Learning

要約

既存のビデオフレーム補間方法は、特定の中間タイムステップでのみフレームを補間できます。
1/2。
この論文では、任意のタイムステップでの、より一般化された種類のビデオフレーム補間を調査することを目的としています。
この目的のために、メタ学習の助けを借りて、適応的に生成された畳み込みカーネルを使用して、統一された方法でさまざまなタイムステップを処理することを検討します。
具体的には、コンテキスト情報とオプティカルフローのガイダンスを使用して中間フレームを合成し、時間ステップをサイド情報として使用する、デュアルメタ学習フレーム補間フレームワークを開発します。
まず、コンテンツ対応のメタ学習フローリファインメントモジュールを構築して、入力フレームのダウンサンプリングバージョンに基づくオプティカルフロー推定の精度を向上させます。
次に、洗練されたオプティカルフローとタイムステップを入力として、モーション対応のメタ学習フレーム補間モジュールが、入力の粗いワープバージョンの特徴マップで畳み込み演算で使用されるすべてのピクセルの畳み込みカーネルを生成します。
予測フレームを生成するためのフレーム。
広範な定性的および定量的評価、ならびにアブレーション研究は、このようにうまく設計された方法でフレームワークにメタ学習を導入することにより、私たちの方法が最先端のフレーム補間アプローチよりも優れたパフォーマンスを達成することを示しています。
また、任意のタイムステップでの補間をサポートする拡張容量を所有しています。

要約(オリジナル)

Existing video frame interpolation methods can only interpolate the frame at a given intermediate time-step, e.g. 1/2. In this paper, we aim to explore a more generalized kind of video frame interpolation, that at an arbitrary time-step. To this end, we consider processing different time-steps with adaptively generated convolutional kernels in a unified way with the help of meta-learning. Specifically, we develop a dual meta-learned frame interpolation framework to synthesize intermediate frames with the guidance of context information and optical flow as well as taking the time-step as side information. First, a content-aware meta-learned flow refinement module is built to improve the accuracy of the optical flow estimation based on the down-sampled version of the input frames. Second, with the refined optical flow and the time-step as the input, a motion-aware meta-learned frame interpolation module generates the convolutional kernels for every pixel used in the convolution operations on the feature map of the coarse warped version of the input frames to generate the predicted frame. Extensive qualitative and quantitative evaluations, as well as ablation studies, demonstrate that, via introducing meta-learning in our framework in such a well-designed way, our method not only achieves superior performance to state-of-the-art frame interpolation approaches but also owns an extended capacity to support the interpolation at an arbitrary time-step.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google