Error-Aware Spatial Ensembles for Video Frame Interpolation

要約

ビデオフレーム補間〜（VFI）アルゴリズムは、データ駆動型アルゴリズムとその実装の両方で前例のない進歩があったため、近年大幅に改善されています。
最近の研究では、困難なVFIシナリオに対処する手段として、高度なモーションエスティメーションまたは新しいワーピング方法が導入されています。
ただし、公開されているVFIの作品はいずれも、補間誤差（IE）の空間的に不均一な特性を考慮していません。
この作品はそのような解決策を紹介します。
オプティカルフローとIEの相関関係を綿密に調べることにより、この論文では、中央のフレームを異なるIEレベルに対応する別個の領域に分割する新しいエラー予測メトリックを提案します。
このIE駆動のセグメンテーションに基づいて、新しいエラー制御損失関数を使用することにより、セグメント化された領域を段階的に処理および統合する空間適応補間ユニットのアンサンブルを導入します。
この空間アンサンブルは、効果的で計算上魅力的なVFIソリューションをもたらします。
人気のあるビデオ補間ベンチマークに関する広範な実験は、提案されたソリューションが、現在関心のあるアプリケーションにおいて現在の最先端（SOTA）よりも優れていることを示しています。

要約(オリジナル)

Video frame interpolation~(VFI) algorithms have improved considerably in recent years due to unprecedented progress in both data-driven algorithms and their implementations. Recent research has introduced advanced motion estimation or novel warping methods as the means to address challenging VFI scenarios. However, none of the published VFI works considers the spatially non-uniform characteristics of the interpolation error (IE). This work introduces such a solution. By closely examining the correlation between optical flow and IE, the paper proposes novel error prediction metrics that partition the middle frame into distinct regions corresponding to different IE levels. Building upon this IE-driven segmentation, and through the use of novel error-controlled loss functions, it introduces an ensemble of spatially adaptive interpolation units that progressively processes and integrates the segmented regions. This spatial ensemble results in an effective and computationally attractive VFI solution. Extensive experimentation on popular video interpolation benchmarks indicates that the proposed solution outperforms the current state-of-the-art (SOTA) in applications of current interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google