Boost Video Frame Interpolation via Motion Adaptation

要約

ビデオ フレーム補間 (VFI) は、ビデオ内の 2 つの連続するフレーム間に中間フレームを生成することを目的とした、やりがいのあるタスクです。
既存の学習ベースの VFI 手法は大きな成功を収めていますが、トレーニング データセットのモーション分布が限られているため、汎化能力が依然として制限されています。
この論文では、テスト時に目に見えない動きに適応できる新しい最適化ベースの VFI 手法を提案します。
私たちの方法は、ビデオ フレーム間の動きの特性を活用するサイクル一貫性適応戦略に基づいています。
また、適応効率を向上させるために、既存の事前トレーニング済み VFI モデルの動き推定モジュールに挿入できる軽量アダプターも紹介します。
さまざまなベンチマークに関する広範な実験により、私たちの手法が 2 フレーム VFI モデルのパフォーマンスを向上させ、追加の入力を使用する既存の最先端の手法を上回るパフォーマンスを発揮できることが実証されました。

要約(オリジナル)

Video frame interpolation (VFI) is a challenging task that aims to generate intermediate frames between two consecutive frames in a video. Existing learning-based VFI methods have achieved great success, but they still suffer from limited generalization ability due to the limited motion distribution of training datasets. In this paper, we propose a novel optimization-based VFI method that can adapt to unseen motions at test time. Our method is based on a cycle-consistency adaptation strategy that leverages the motion characteristics among video frames. We also introduce a lightweight adapter that can be inserted into the motion estimation module of existing pre-trained VFI models to improve the efficiency of adaptation. Extensive experiments on various benchmarks demonstrate that our method can boost the performance of two-frame VFI models, outperforming the existing state-of-the-art methods, even those that use extra input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google