Data Augmentation in Temporal and Polar Domains for Event-Based Learning

要約

イベント カメラは本質的にスパイキング ニューラル ネットワーク (SNNS) に適しており、バイオニクス、非同期性、高ダイナミック レンジ、およびモーション ブラーがないという利点により、挑戦的なシーンで大きな可能性を秘めています。
これらのカメラの可能性を解き放つために、これらのカメラの出力を調べます。
その過程で、lemph[EventInvert) と lemph(EventDrift) (EventID) という 2 つの新しいデータ拡張メソッドが提案され、この影響の 2 つの基本的な変換がシミュレートされます。
CIFAR10-DVS、N-Caltech101、および N-CARS データセットで広範な実験が行われています。このシミュレーションは、明るさの変動に対するモデルのロバスト性を高めることにより、一般化を改善することがわかりました。さらに、
EventID は広く効果的であり、以前の最先端のパフォーマンスを上回ります。

要約(オリジナル)

Event cameras are inherently suitable for spikingneural networks (SNNS) and have great potential in challenging scenesdue to the advantages of bionics, asynchrony, high dynamic range, and no motion blur.However, novel data augmentations designed for event properties are required to process the unconventional output of these cameras in order to unlock their potential.In this paper, we explore the extraordinary influence of brightness variations due to event properties. Along the way, two novel data augmentation methods, lemph[EventInvert) and lemph(EventDrift) (EventID), are proposedto simulate two basic transformations of this influence.Specifically, EventID inverts or drifts events in the stream through transformationsin temporal and polar domains, thereby generating samples affected by brightness variances.Extensive experiments are carried out on the CIFAR10-DVS, N-Caltech101, and N-CARS datasets.It turns out that this simulation improves generalization by increasing the robustness of models against brightness variations.In addition, EventID is broadly effective, surpassing previous state-of-the-art performances.For example, the spiking neural network model with EventID achieves a state-of-the-art accuracy of 83.501% on the CIFAR10-DVS dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google