EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms with Real-captured Hybrid Dataset

要約

イベント カメラは、ダイナミック レンジとセンシング速度の点で従来のフレームベースのイメージング センサーよりも優れた利点を提供する新しいイメージング テクノロジです。
従来の画像フレームの豊かなテクスチャと色の認識を補完する、イベント カメラとフレームベース カメラのハイブリッド カメラ システムにより、高性能イメージングが可能になります。
イベント カメラの支援により、高品質の画像/ビデオ強化手法により、従来のフレームベースのカメラの限界、特に露光時間、解像度、ダイナミック レンジ、およびフレーム レートの限界を打ち破ることが可能になります。
このペーパーでは、5 つのイベント支援画像およびビデオ強化タスク (つまり、イベントベースのビデオ再構成、イベント支援の高フレーム レート ビデオ再構成、画像のブレ除去、画像の超解像、および高ダイナミック レンジ画像の再構成) に焦点を当て、分析を提供します。
さまざまなイベント プロパティの影響、実際にキャプチャされグラウンド トゥルースのラベルが付けられたベンチマーク データセット、最先端の手法の統合ベンチマーク、および 2 つの主流イベント シミュレーターの評価です。
詳細には、この論文は、「Event-RGB」マルチカメラハイブリッドシステムを使用し、シーンの多様性と時空間同期を考慮して、5つのイベント支援画像/ビデオ改善タスク用に実際にキャプチャされた評価データセットEventAidを収集します。
さらに、最先端のアルゴリズムの定量的および視覚的な比較を実行し、イベント支援画像ぼけ除去法の性能限界を分析するための制御された実験を提供し、将来の研究にインスピレーションを与える未解決の問題について議論します。

要約(オリジナル)

Event cameras are emerging imaging technology that offers advantages over conventional frame-based imaging sensors in dynamic range and sensing speed. Complementing the rich texture and color perception of traditional image frames, the hybrid camera system of event and frame-based cameras enables high-performance imaging. With the assistance of event cameras, high-quality image/video enhancement methods make it possible to break the limits of traditional frame-based cameras, especially exposure time, resolution, dynamic range, and frame rate limits. This paper focuses on five event-aided image and video enhancement tasks (i.e., event-based video reconstruction, event-aided high frame rate video reconstruction, image deblurring, image super-resolution, and high dynamic range image reconstruction), provides an analysis of the effects of different event properties, a real-captured and ground truth labeled benchmark dataset, a unified benchmarking of state-of-the-art methods, and an evaluation for two mainstream event simulators. In detail, this paper collects a real-captured evaluation dataset EventAid for five event-aided image/video enhancement tasks, by using ‘Event-RGB’ multi-camera hybrid system, taking into account scene diversity and spatiotemporal synchronization. We further perform quantitative and visual comparisons for state-of-the-art algorithms, provide a controlled experiment to analyze the performance limit of event-aided image deblurring methods, and discuss open problems to inspire future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google