PRE-Mamba: A 4D State Space Model for Ultra-High-Frequent Event Camera Deraining

要約

イベントカメラは、高い時間分解能とダイナミックレンジで優れていますが、雨の状態では密な騒音に悩まされています。
既存のイベントデリケーション方法は、時間的精度、由来の有効性、および計算効率の間のトレードオフに直面しています。
このペーパーでは、生のイベントと雨の時空間的な特性を完全に活用する新しいポイントベースのイベントカメラの派生フレームワークであるPre-Mambaを提案します。
私たちのフレームワークでは、デュアル時間スケールを統合して高い時間的精度を維持する4Dイベントクラウド表現を紹介します。これは、時間的および空間的情報の浅いデカップリングと相互作用を可能にする由来能力を高めるための派生能力を高めるための派生能力を強化し、マルチスケール国立空間モデル（MS3M）を獲得します。
線形計算の複雑さを伴うスケール。
周波数ドメインの正則化によって強化されたプレマンバは、ラベル付き合成および実世界のシーケンスを備えた包括的なデータセットであるEventRain-27Kのわずか0.26mパラメーターで、優れたパフォーマンス（0.95 SR、0.91 NR、および0.4S/Mイベント）を実現します。
さらに、私たちの方法は、さまざまな雨の強度、視点、さらには雪の状態にわたってよく一般的になります。

要約(オリジナル)

Event cameras excel in high temporal resolution and dynamic range but suffer from dense noise in rainy conditions. Existing event deraining methods face trade-offs between temporal precision, deraining effectiveness, and computational efficiency. In this paper, we propose PRE-Mamba, a novel point-based event camera deraining framework that fully exploits the spatiotemporal characteristics of raw event and rain. Our framework introduces a 4D event cloud representation that integrates dual temporal scales to preserve high temporal precision, a Spatio-Temporal Decoupling and Fusion module (STDF) that enhances deraining capability by enabling shallow decoupling and interaction of temporal and spatial information, and a Multi-Scale State Space Model (MS3M) that captures deeper rain dynamics across dual-temporal and multi-spatial scales with linear computational complexity. Enhanced by frequency-domain regularization, PRE-Mamba achieves superior performance (0.95 SR, 0.91 NR, and 0.4s/M events) with only 0.26M parameters on EventRain-27K, a comprehensive dataset with labeled synthetic and real-world sequences. Moreover, our method generalizes well across varying rain intensities, viewpoints, and even snowy conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google