VFIMamba: Video Frame Interpolation with State Space Models

要約

フレーム間モデリングは、ビデオ フレーム補間 (VFI) の中間フレームを生成する際に極めて重要です。
現在のアプローチは主に畳み込みモデルまたは注意ベースのモデルに依存していますが、多くの場合、十分な受容野が不足していたり​​、かなりの計算オーバーヘッドが発生したりします。
最近、長いシーケンス モデリングに特化して調整された選択的状態空間モデル (S6) が登場し、線形の複雑さとデータ依存のモデリング機能の両方を提供します。
本稿では、S6 モデルを利用して効率的かつ動的なフレーム間モデリングを実現する新しいフレーム補間手法である VFIMamba を提案します。
私たちのアプローチでは、最初に隣接するフレームからのトークンをインターリーブ方式で再配置し、その後多方向 S6 モデリングを適用する Mixed-SSM Block (MSB) を導入します。
この設計により、線形の複雑さを維持しながら、フレーム間での情報の効率的な送信が容易になります。
さらに、さまざまな動きの大きさにわたるフレーム間ダイナミクスのモデリングの習熟度を段階的に養い、S6 モデルの可能性を最大限に引き出す、新しいカリキュラム学習戦略を導入します。
実験結果は、私たちの手法がさまざまなベンチマークにわたって最先端のパフォーマンスを達成し、特に高解像度のシナリオで優れていることを示しています。
特に、X-TEST データセットでは、VFIMamba は 4K フレームで 0.80 dB、2K フレームで 0.96 dB という注目すべき改善を示しています。

要約(オリジナル)

Inter-frame modeling is pivotal in generating intermediate frames for video frame interpolation (VFI). Current approaches predominantly rely on convolution or attention-based models, which often either lack sufficient receptive fields or entail significant computational overheads. Recently, Selective State Space Models (S6) have emerged, tailored specifically for long sequence modeling, offering both linear complexity and data-dependent modeling capabilities. In this paper, we propose VFIMamba, a novel frame interpolation method for efficient and dynamic inter-frame modeling by harnessing the S6 model. Our approach introduces the Mixed-SSM Block (MSB), which initially rearranges tokens from adjacent frames in an interleaved fashion and subsequently applies multi-directional S6 modeling. This design facilitates the efficient transmission of information across frames while upholding linear complexity. Furthermore, we introduce a novel curriculum learning strategy that progressively cultivates proficiency in modeling inter-frame dynamics across varying motion magnitudes, fully unleashing the potential of the S6 model. Experimental findings showcase that our method attains state-of-the-art performance across diverse benchmarks, particularly excelling in high-resolution scenarios. In particular, on the X-TEST dataset, VFIMamba demonstrates a noteworthy improvement of 0.80 dB for 4K frames and 0.96 dB for 2K frames.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google