EVREAL: Towards a Comprehensive Benchmark and Analysis Suite for Event-based Video Reconstruction

要約

タイトル：EVREAL：イベントベースのビデオ再構築のための包括的なベンチマークと分析スイートに向けて

要約：
– イベントカメラは、非同期かつ独立したピクセルを組み込んだ新しいタイプのビジョンセンサーで、高いダイナミックレンジと最小限の運動ブラーなど、従来のフレームベースのカメラに比べて優れた機能を備えています。
– しかし、彼らの出力は人間にとって容易に理解できず、イベントストリームから強度画像の再構築は、イベントベースのビジョンにおける基本的なタスクです。
– 最近の深層学習ベースの手法は、イベントからのビデオ再構築において有望な結果を示しているが、この問題は完全に解決されていない。
– 異なる手法の比較を容易にするために、標準化された評価プロトコルと多様なテストデータセットが必要。
– この論文では、統一された評価方法論を提案し、文献からの様々なイベントベースのビデオ再構築手法を包括的にベンチマークおよび分析するためのオープンソースフレームワークであるEVREALを導入する。
– EVREALを使用して、現在のイベントベースのビデオ再構築手法の状態に関する詳細な分析を行い、異なる設定、困難なシナリオ、およびダウンストリームタスク下でのこれらの手法のパフォーマンスに関する貴重な知見を提供する。

要約(オリジナル)

Event cameras are a new type of vision sensor that incorporates asynchronous and independent pixels, offering advantages over traditional frame-based cameras such as high dynamic range and minimal motion blur. However, their output is not easily understandable by humans, making the reconstruction of intensity images from event streams a fundamental task in event-based vision. While recent deep learning-based methods have shown promise in video reconstruction from events, this problem is not completely solved yet. To facilitate comparison between different approaches, standardized evaluation protocols and diverse test datasets are essential. This paper proposes a unified evaluation methodology and introduces an open-source framework called EVREAL to comprehensively benchmark and analyze various event-based video reconstruction methods from the literature. Using EVREAL, we give a detailed analysis of the state-of-the-art methods for event-based video reconstruction, and provide valuable insights into the performance of these methods under varying settings, challenging scenarios, and downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI