BiFormer: Learning Bilateral Motion Estimation via Bilateral Transformer for 4K Video Frame Interpolation

要約

タイトル: Bilateral Transformerを用いた4Kビデオフレーム補間のためのバイラテラルモーション推定の学習(BiFormer)

要約:
– BiFormerと呼ばれる新しい4Kビデオフレーム補間アルゴリズムが提案された。
– 3つのステップ、つまりグローバルモーション推定、ローカルモーションリファイン、そしてフレーム合成が行われる。
– グローバルモーション推定では、粗いスケールで対称的なバイラテラルモーションフィールドを予測するBilateral Transformerが使われる。
– 次に、ブロック単位のバイラテラルコストボリューム(BBCV)を使ってグローバルモーションフィールドを効率的にリファインする。
– 最後に、リファインされたモーションフィールドを使って入力フレームを変形し、ブレンドして中間フレームを合成する。
– 幅広い実験により、提案されたBiFormerアルゴリズムが4Kデータセットで優れた補間性能を達成していることが示された。
– ソースコードはhttps://github.com/JunHeum/BiFormerで利用可能。

要約(オリジナル)

A novel 4K video frame interpolator based on bilateral transformer (BiFormer) is proposed in this paper, which performs three steps: global motion estimation, local motion refinement, and frame synthesis. First, in global motion estimation, we predict symmetric bilateral motion fields at a coarse scale. To this end, we propose BiFormer, the first transformer-based bilateral motion estimator. Second, we refine the global motion fields efficiently using blockwise bilateral cost volumes (BBCVs). Third, we warp the input frames using the refined motion fields and blend them to synthesize an intermediate frame. Extensive experiments demonstrate that the proposed BiFormer algorithm achieves excellent interpolation performance on 4K datasets. The source codes are available at https://github.com/JunHeum/BiFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI