Event-Based Video Frame Interpolation With Cross-Modal Asymmetric Bidirectional Motion Fields

要約

ビデオフレーム補間（VFI）は、連続した入力フレーム間で中間ビデオフレームを生成することを目的としています。
イベントカメラは、輝度のみをエンコードするマイクロ秒の時間分解能でのみ変化するバイオインスパイアセンサーであるため、いくつかの作品はイベントカメラを利用してVFIのパフォーマンスを向上させました。
ただし、既存の方法では、イベントまたは近似のみを備えた双方向間モーションフィールドを推定します。これは、実際のシナリオでは複雑なモーションを考慮することはできません。
このホワイトペーパーでは、非対称双方向の動きのフィールド推定を備えた新しいイベントベースのVFIフレームワークを提案します。
詳細には、EIF-BiofNetは、近似方法なしでフレーム間モーションフィールドを直接推定するために、イベントと画像の各貴重な特性を利用しています。
さらに、相補的な注意ベースのフレーム合成ネットワークを開発して、相補的なワーピングベースと合成ベースの機能を効率的に活用します。
最後に、以前のイベントベースのVFIデータセットの制限を克服するために、高いフレームレート、極端な動き、動的テクスチャを備えた、大規模なイベントベースのVFIデータセット、ERF-X170FPSを構築します。
大規模な実験結果は、さまざまなデータセットで最先端のVFIメソッドよりも、この方法が大幅にパフォーマンス改善を示していることを検証します。
プロジェクトページは、https：//github.com/intelpro/cbmnetで入手できます

要約(オリジナル)

Video Frame Interpolation (VFI) aims to generate intermediate video frames between consecutive input frames. Since the event cameras are bio-inspired sensors that only encode brightness changes with a micro-second temporal resolution, several works utilized the event camera to enhance the performance of VFI. However, existing methods estimate bidirectional inter-frame motion fields with only events or approximations, which can not consider the complex motion in real-world scenarios. In this paper, we propose a novel event-based VFI framework with cross-modal asymmetric bidirectional motion field estimation. In detail, our EIF-BiOFNet utilizes each valuable characteristic of the events and images for direct estimation of inter-frame motion fields without any approximation methods. Moreover, we develop an interactive attention-based frame synthesis network to efficiently leverage the complementary warping-based and synthesis-based features. Finally, we build a large-scale event-based VFI dataset, ERF-X170FPS, with a high frame rate, extreme motion, and dynamic textures to overcome the limitations of previous event-based VFI datasets. Extensive experimental results validate that our method shows significant performance improvement over the state-of-the-art VFI methods on various datasets. Our project pages are available at: https://github.com/intelpro/CBMNet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google