Hybrid Spiking Vision Transformer for Object Detection with Event Cameras

要約

イベントベースのオブジェクト検出は、高い時間分解能、広いダイナミックレンジ、非同期アドレスイベント表現などの利点により、注目を集めています。
これらの利点を活用して、スパイクニューラルネットワーク（SNN）が有望なアプローチとして浮上し、低エネルギー消費と豊富な時空ダイナミクスを提供しています。
イベントベースのオブジェクト検出のパフォーマンスをさらに強化するために、この研究では、新しいハイブリッドスパイクビジョントランス（HSVT）モデルを提案しています。
HSVTモデルは、空間機能抽出モジュールを統合してローカルおよびグローバルな特徴をキャプチャし、時間的特徴抽出モジュールをイベントシーケンスの時間依存性と長期パターンをモデル化します。
この組み合わせにより、HSVTは時空間的な機能をキャプチャし、複雑なイベントベースのオブジェクト検出タスクを処理する機能を改善します。
この分野での研究をサポートするために、イベントベースのオブジェクト検出タスクのベンチマークとして、Fall Detection Datasetを開発および公開しました。
イベントベースのカメラを使用してキャプチャされたこのデータセットは、フェイシャルプライバシーの保護を保証し、イベント表現形式のためにメモリの使用を削減します。
さまざまなモデルサイズにわたってGen1およびFall検出データセットのHSVTモデルを評価しました。
実験結果は、HSVTがパラメーターが少ないイベント検出の大幅なパフォーマンスの改善を達成することを示しています。

要約(オリジナル)

Event-based object detection has gained increasing attention due to its advantages such as high temporal resolution, wide dynamic range, and asynchronous address-event representation. Leveraging these advantages, Spiking Neural Networks (SNNs) have emerged as a promising approach, offering low energy consumption and rich spatiotemporal dynamics. To further enhance the performance of event-based object detection, this study proposes a novel hybrid spike vision Transformer (HsVT) model. The HsVT model integrates a spatial feature extraction module to capture local and global features, and a temporal feature extraction module to model time dependencies and long-term patterns in event sequences. This combination enables HsVT to capture spatiotemporal features, improving its capability to handle complex event-based object detection tasks. To support research in this area, we developed and publicly released The Fall Detection Dataset as a benchmark for event-based object detection tasks. This dataset, captured using an event-based camera, ensures facial privacy protection and reduces memory usage due to the event representation format. We evaluated the HsVT model on GEN1 and Fall Detection datasets across various model sizes. Experimental results demonstrate that HsVT achieves significant performance improvements in event detection with fewer parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google