EDmamba: A Simple yet Effective Event Denoising Method with State Space Model

要約

イベントカメラは、時間分解能が高い、ダイナミックレンジが高く、消費電力が低いため、高速視力に優れています。
ただし、動的ビジョンセンサーとして、その出力は本質的にノイズがあり、効率的な除去が非常に低いレイテンシおよびリアルタイム処理機能を維持するために不可欠です。
既存のイベントの除去方法は、重要なジレンマとの闘いです。計算的に集中的なアプローチは、センサーの高速優位性を損なうものですが、軽量の方法はさまざまなノイズレベルにわたって堅牢性を欠いていることがよくあります。
これに対処するために、State Space Models（SSM）に基づいた新しいイベント除去フレームワークを提案します。
私たちのアプローチは、イベントを4Dイベントクラウドとして表し、幾何学的および極性認識サブスペースの両方から埋め込み機能を抽出する粗い特徴抽出（CFE）モジュールを含んでいます。
このモデルは、さらに2つの重要なコンポーネントで構成されています。ローカルな幾何学的構造をモデル化する空間マンバ（SSSM）と、グローバルな時間的ダイナミクスをキャプチャし、イベント全体の時空間的特徴を効率的に伝播する時間的マンバ（T-SSM）です。
実験は、私たちの方法が88.89Kパ​​ラメーター、100Kイベント推論時間あたり0.0685秒、0.982精度スコア、2.08％の精度を2.08％、36x Fasterを備えた最先端の精度と効率を達成することを示しています。

要約(オリジナル)

Event cameras excel in high-speed vision due to their high temporal resolution, high dynamic range, and low power consumption. However, as dynamic vision sensors, their output is inherently noisy, making efficient denoising essential to preserve their ultra-low latency and real-time processing capabilities. Existing event denoising methods struggle with a critical dilemma: computationally intensive approaches compromise the sensor’s high-speed advantage, while lightweight methods often lack robustness across varying noise levels. To address this, we propose a novel event denoising framework based on State Space Models (SSMs). Our approach represents events as 4D event clouds and includes a Coarse Feature Extraction (CFE) module that extracts embedding features from both geometric and polarity-aware subspaces. The model is further composed of two essential components: A Spatial Mamba (S-SSM) that models local geometric structures and a Temporal Mamba (T-SSM) that captures global temporal dynamics, efficiently propagating spatiotemporal features across events. Experiments demonstrate that our method achieves state-of-the-art accuracy and efficiency, with 88.89K parameters, 0.0685s per 100K events inference time, and a 0.982 accuracy score, outperforming Transformer-based methods by 2.08% in denoising accuracy and 36X faster.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google