E-MLB: Multilevel Benchmark for Event-Based Camera Denoising

要約

ダイナミック ビジョン センサー (DVS) などのイベント カメラは、生物学に着想を得たビジョン センサーであり、従来のカメラよりも高ダイナミック レンジ、低遅延、低消費電力で進歩しており、多くの分野で大きなアプリケーションの可能性を示しています。
イベント カメラは差動信号を出力するため、ジャンクション リーク電流と光電流の影響を受けやすく、RGB カメラの統合イメージング プロセスの平滑化機能が失われます。
対数変換は、特に低コントラスト条件で、ノイズをさらに増幅します。
最近、研究者は一連のデータセットと評価指標を提案しましたが、制限が残っています。
2) 既存のノイズ除去評価指標は、ほとんどが参照された評価指標であり、APS 情報または手動注釈に依存しています。
上記の問題に対処するために、大規模なイベントノイズ除去データセット (イベントノイズ除去のマルチレベルベンチマーク、E-MLB) を初めて構築します。これは、それぞれが 4 つのノイズレベルを持つ 100 シーンで構成され、
既存の最大のノイズ除去データセット。
また、特定のイベントの構造強度を測定する、最初の非参照イベント ノイズ除去指標であるイベント構造比 (ESR) を提案します。
ESR はコントラスト メトリックに着想を得ていますが、イベントの数や投影方向には依存しません。
提案されたベンチマークと ESR に基づいて、クラシックや SOTA を含む最も代表的なノイズ除去アルゴリズムを評価し、さまざまなシーンやノイズ レベルでのノイズ除去ベースラインを提供します。
対応する結果とコードは、https://github.com/KugaMaxx/cuke-emlb で入手できます。

要約(オリジナル)

Event cameras, such as dynamic vision sensors (DVS), are biologically inspired vision sensors that have advanced over conventional cameras in high dynamic range, low latency and low power consumption, showing great application potential in many fields. Event cameras are more sensitive to junction leakage current and photocurrent as they output differential signals, losing the smoothing function of the integral imaging process in the RGB camera. The logarithmic conversion further amplifies noise, especially in low-contrast conditions. Recently, researchers proposed a series of datasets and evaluation metrics but limitations remain: 1) the existing datasets are small in scale and insufficient in noise diversity, which cannot reflect the authentic working environments of event cameras; and 2) the existing denoising evaluation metrics are mostly referenced evaluation metrics, relying on APS information or manual annotation. To address the above issues, we construct a large-scale event denoising dataset (multilevel benchmark for event denoising, E-MLB) for the first time, which consists of 100 scenes, each with four noise levels, that is 12 times larger than the largest existing denoising dataset. We also propose the first nonreference event denoising metric, the event structural ratio (ESR), which measures the structural intensity of given events. ESR is inspired by the contrast metric, but is independent of the number of events and projection direction. Based on the proposed benchmark and ESR, we evaluate the most representative denoising algorithms, including classic and SOTA, and provide denoising baselines under various scenes and noise levels. The corresponding results and codes are available at https://github.com/KugaMaxx/cuke-emlb.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google