ShapeAug: Occlusion Augmentation for Event Camera Data

要約

近年、ダイナミック・ビジョン・センサー（DVS）は、従来のRGBカメラと比較して本質的に優れているため、多くの関心を集めている。これらの利点には、低遅延、高ダイナミックレンジ、低エネルギー消費などが含まれる。とはいえ、ディープラーニング（DL）手法を用いたDVSデータの処理は、特にイベントトレーニングデータの利用可能性がまだ限られているため、依然として課題となっている。このため、精度を向上させるだけでなく、学習データのオーバーフィッティングを回避するために、イベントデータを補強する技術が必要となります。もう1つの課題は、特に実世界の自動車アプリケーションにおけるオクルージョンである。本論文では、シーン内でランダムに動くオブジェクトの合成イベントを導入することで、この問題に対処する新しいイベントデータ補強アプローチを紹介する。本手法を複数のDVS分類データセットでテストした結果、トップ1精度が最大6.5%向上した。さらに、実世界のGen1 Automotive Event Datasetの物体検出に我々の補強手法を適用し、特に歩行者の検出を最大5%改善した。

要約(オリジナル)

Recently, Dynamic Vision Sensors (DVSs) sparked a lot of interest due to their inherent advantages over conventional RGB cameras. These advantages include a low latency, a high dynamic range and a low energy consumption. Nevertheless, the processing of DVS data using Deep Learning (DL) methods remains a challenge, particularly since the availability of event training data is still limited. This leads to a need for event data augmentation techniques in order to improve accuracy as well as to avoid over-fitting on the training data. Another challenge especially in real world automotive applications is occlusion, meaning one object is hindering the view onto the object behind it. In this paper, we present a novel event data augmentation approach, which addresses this problem by introducing synthetic events for randomly moving objects in a scene. We test our method on multiple DVS classification datasets, resulting in an relative improvement of up to 6.5 % in top1-accuracy. Moreover, we apply our augmentation technique on the real world Gen1 Automotive Event Dataset for object detection, where we especially improve the detection of pedestrians by up to 5 %.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL