ADV2E: Bridging the Gap Between Analogue Circuit and Discrete Frames in the Video-to-Events Simulator

要約

イベント カメラは、従来のアクティブ ピクセル センサー (APS) カメラとは根本的に動作が異なるため、大きな利点があります。
最近の研究では、ビデオ フレームをイベントに変換するシミュレーターが開発され、実際のイベント データセットの不足に対処しています。
現在のシミュレータは主にイベント カメラの論理的な動作に焦点を当てています。
ただし、ピクセル回路の基本的なアナログ特性は、シミュレーターの設計ではほとんど考慮されません。
アナログ ピクセル回路と個別のビデオ フレーム間のギャップにより、特にハイコントラストのシーンで合成イベントの劣化が発生します。
この論文では、イベント カメラのピクセル回路の詳細な分析に基づいて、信頼性の高いイベント データを生成する新しい方法を提案します。
イベント カメラ ピクセル回路のアナログ特性をシミュレーター設計に組み込みます。(1) 光の強度からイベントまでの信号のアナログ フィルター処理、および (2) ビデオ フレーム レートに依存しないカットオフ周波数。
セマンティック セグメンテーションと画像再構成を含む 2 つの関連タスクに関する実験結果は、高コントラストのシーンであっても、シミュレートされたイベント データの信頼性を検証します。
これは、ディープ ニューラル ネットワークがシミュレートされたイベント データから実際のイベント データまで強力な一般化を示し、提案された方法によって生成された合成イベントが現実的であり、効果的なトレーニングに適していることを裏付けています。

要約(オリジナル)

Event cameras operate fundamentally differently from traditional Active Pixel Sensor (APS) cameras, offering significant advantages. Recent research has developed simulators to convert video frames into events, addressing the shortage of real event datasets. Current simulators primarily focus on the logical behavior of event cameras. However, the fundamental analogue properties of pixel circuits are seldom considered in simulator design. The gap between analogue pixel circuit and discrete video frames causes the degeneration of synthetic events, particularly in high-contrast scenes. In this paper, we propose a novel method of generating reliable event data based on a detailed analysis of the pixel circuitry in event cameras. We incorporate the analogue properties of event camera pixel circuits into the simulator design: (1) analogue filtering of signals from light intensity to events, and (2) a cutoff frequency that is independent of video frame rate. Experimental results on two relevant tasks, including semantic segmentation and image reconstruction, validate the reliability of simulated event data, even in high-contrast scenes. This demonstrates that deep neural networks exhibit strong generalization from simulated to real event data, confirming that the synthetic events generated by the proposed method are both realistic and well-suited for effective training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google