Spike Stream Denoising via Spike Camera Simulation

要約

タイトル：Spike Stream Denoising via Spike Camera Simulation

要約：

– spikeカメラは、高い時間分解能を持つ神経形態センサーであり、高速視覚課題において、巨大な可能性を持っている。
– しかし、既存のカメラによる光伝播過程の高速サンプリングは、避けられないノイズ現象をもたらす。
– spikeストリームでの特有のノイズを排除することは、常にspikeベースの方法のキーポイントである。
– spikeカメラの詳細なノイズメカニズムに対処した先行研究はない。
– そこで、我々は、独自の回路に基づくspikeカメラのシステマティックなノイズモデルを提案する。
– さらに、ノイズ評価式と実験シナリオを慎重に構築して、ノイズ変数を測定している。
– 我々のノイズモデルに基づき、クリア（ノイジーな）spikeストリームを含む、spikeストリームデノイジングの初のベンチマークが提案された。
– さらに、推論された間隔をデコードすることによって、デノイズされたspikeストリームが得られる専用のspikeストリームデノイジングフレームワーク（DnSS）を設計した。
– 実験により、DnSSは提案されたベンチマークで有望な性能を示した。
– 最終的に、DnSSは実際のspikeストリームにもうまく汎用化できる。

要約(オリジナル)

As a neuromorphic sensor with high temporal resolution, the spike camera shows enormous potential in high-speed visual tasks. However, the high-speed sampling of light propagation processes by existing cameras brings unavoidable noise phenomena. Eliminating the unique noise in spike stream is always a key point for spike-based methods. No previous work has addressed the detailed noise mechanism of the spike camera. To this end, we propose a systematic noise model for spike camera based on its unique circuit. In addition, we carefully constructed the noise evaluation equation and experimental scenarios to measure noise variables. Based on our noise model, the first benchmark for spike stream denoising is proposed which includes clear (noisy) spike stream. Further, we design a tailored spike stream denoising framework (DnSS) where denoised spike stream is obtained by decoding inferred inter-spike intervals. Experiments show that DnSS has promising performance on the proposed benchmark. Eventually, DnSS can be generalized well on real spike stream.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI