State Space Models for Event Cameras

要約

現在、イベント カメラ データを処理する最先端のディープ ニューラル ネットワークは、まずイベントの時間ウィンドウを高密度のグリッド状の入力表現に変換します。
そのため、トレーニングされたものよりも高い推論周波数 (つまり、より小さな時間ウィンドウ) で展開されると、一般化性が低くなります。
私たちは、学習可能なタイムスケール パラメーターを備えた状態空間モデル (SSM) をイベントベースのビジョンに導入することで、この課題に対処します。
この設計は、さまざまな周波数でネットワークを再トレーニングする必要なく、さまざまな周波数に適応します。
さらに、モデルを高周波数で展開する際のエイリアシング効果に対抗するための 2 つの戦略を調査します。
Gen1 および 1 Mpx イベント カメラ データセットを含むさまざまなベンチマークにわたって、RNN および Transformer アーキテクチャに基づく既存の手法に対してアプローチを包括的に評価します。
私たちの結果は、SSM ベースのモデルのトレーニングが 33% 高速であり、トレーニング入力よりも高い周波数でテストした場合でもパフォーマンスの低下が最小限に抑えられることを示しています。
従来の RNN および Transformer モデルでは 20 mAP 以上のパフォーマンス低下が見られ、SSM では 3.31 mAP の低下が見られ、イベントベースのビジョン タスクにおける SSM の有効性が強調されています。

要約(オリジナル)

Today, state-of-the-art deep neural networks that process event-camera data first convert a temporal window of events into dense, grid-like input representations. As such, they exhibit poor generalizability when deployed at higher inference frequencies (i.e., smaller temporal windows) than the ones they were trained on. We address this challenge by introducing state-space models (SSMs) with learnable timescale parameters to event-based vision. This design adapts to varying frequencies without the need to retrain the network at different frequencies. Additionally, we investigate two strategies to counteract aliasing effects when deploying the model at higher frequencies. We comprehensively evaluate our approach against existing methods based on RNN and Transformer architectures across various benchmarks, including Gen1 and 1 Mpx event camera datasets. Our results demonstrate that SSM-based models train 33% faster and also exhibit minimal performance degradation when tested at higher frequencies than the training input. Traditional RNN and Transformer models exhibit performance drops of more than 20 mAP, with SSMs having a drop of 3.31 mAP, highlighting the effectiveness of SSMs in event-based vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google