A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild

要約

効果的なビデオフレーム補間は、入力シーンでの動きの熟練した取り扱いにかかっています。
以前の作業は、このための非同期イベント情報を認めていますが、多くの場合、モーションがビデオにぼやけてぼやけているかどうかを見落とし、その範囲を鋭いフレーム補間に制限します。
代わりに、アドホックを除去するため、シャープとぼやけた入力ビデオの両方で機能するイベントベースのフレーム補間の統一フレームワークを提案します。
私たちのモデルは、補間の時間的次元を組み込んだ双方向の再発ネットワークで構成され、入力フレームから情報を融合し、その時間的近接に基づいて適応的にイベントを融合します。
合成データから実際のイベントカメラに一般化を強化するために、自己監視されたフレームワークを提案されたモデルと統合して、野生の実際のデータセットの一般化を強化します。
データセットレベルでは、HighRevという名前のイベントとカラービデオを備えた新しい実世界の高解像度データセットを紹介します。これは、検査されたタスクの挑戦的な評価設定を提供します。
広範な実験は、私たちのネットワークが、フレーム補間、単一の画像の脱硫黄、および両方の共同タスクに関する以前の最先端の方法よりも一貫して優れていることを示しています。
ドメイン転送に関する実験により、自己監視されたトレーニングは、合成データから実際のデータに移行する際に観察されるパフォーマンスの劣化を効果的に軽減することが明らかになりました。
コードとデータセットはhttps://github.com/ahupujr/refidで入手できます。

要約(オリジナル)

Effective video frame interpolation hinges on the adept handling of motion in the input scene. Prior work acknowledges asynchronous event information for this, but often overlooks whether motion induces blur in the video, limiting its scope to sharp frame interpolation. We instead propose a unified framework for event-based frame interpolation that performs deblurring ad-hoc and thus works both on sharp and blurry input videos. Our model consists in a bidirectional recurrent network that incorporates the temporal dimension of interpolation and fuses information from the input frames and the events adaptively based on their temporal proximity. To enhance the generalization from synthetic data to real event cameras, we integrate self-supervised framework with the proposed model to enhance the generalization on real-world datasets in the wild. At the dataset level, we introduce a novel real-world high-resolution dataset with events and color videos named HighREV, which provides a challenging evaluation setting for the examined task. Extensive experiments show that our network consistently outperforms previous state-of-the-art methods on frame interpolation, single image deblurring, and the joint task of both. Experiments on domain transfer reveal that self-supervised training effectively mitigates the performance degradation observed when transitioning from synthetic data to real-world data. Code and datasets are available at https://github.com/AHupuJR/REFID.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google