Rethinking Efficient and Effective Point-based Networks for Event Camera Classification and Regression: EventMamba

要約

生物システムからヒントを得たイベントカメラは、低消費電力でありながら、周囲光の変化を低遅延かつ高ダイナミックレンジで効率的に検出する。イベントデータを処理するための最新のアプローチでは、従来のビジョンで確立されているフレームベースの表現に変換することが多い。しかし、このアプローチではイベントデータの疎密が無視され、変換処理中にきめ細かな時間情報が失われ、計算負荷が増大するため、イベントカメラの特性を特徴付けるのに有効ではありません。対照的に、ポイントクラウドは3D処理のための一般的な表現であり、イベントカメラのスパースで非同期な性質により適しています。とはいえ、ポイントベース手法はイベントカメラと理論的に互換性があるにもかかわらず、結果はフレームベース手法と比較してまだ満足のいくパフォーマンスギャップを示しています。この性能ギャップを埋めるために、我々はEventMambaを提案します。EventMambaは効率的で効果的なポイントクラウドフレームワークであり、分類と回帰タスクの両方において、最先端のフレームベース手法と比較しても遜色のない結果を達成します。この特筆すべき成果は、イベントクラウドとポイントクラウドの区別を再考し、最適化されたネットワーク構造による効果的な時間的情報抽出に重点を置くことで促進される。具体的には、EventMambaは時間的集約と状態空間モデル（SSM）ベースのMambaを活用し、強化された時間的情報抽出能力を誇ります。階層構造により、EventMambaは局所的・大域的な空間的特徴や、暗黙的・明示的な時間的特徴を抽象化することに長けている。軽量設計の原則に従うことで、EventMambaは最小限の計算リソース使用で印象的な結果を提供し、その効率性と有効性を実証します。

要約(オリジナル)

Event cameras, drawing inspiration from biological systems, efficiently detect changes in ambient light with low latency and high dynamic range while consuming minimal power. The most current approach to processing event data often involves converting it into frame-based representations, which is well-established in traditional vision. However, this approach neglects the sparsity of event data, loses fine-grained temporal information during the transformation process, and increases the computational burden, making it ineffective for characterizing event camera properties. In contrast, Point Cloud is a popular representation for 3D processing and is better suited to match the sparse and asynchronous nature of the event camera. Nevertheless, despite the theoretical compatibility of point-based methods with event cameras, the results show a performance gap that is not yet satisfactory compared to frame-based methods. In order to bridge the performance gap, we propose EventMamba, an efficient and effective Point Cloud framework that achieves competitive results even compared to the state-of-the-art (SOTA) frame-based method in both classification and regression tasks. This notable accomplishment is facilitated by our rethinking of the distinction between Event Cloud and Point Cloud, emphasizing effective temporal information extraction through optimized network structures. Specifically, EventMamba leverages temporal aggregation and State Space Model (SSM) based Mamba boasting enhanced temporal information extraction capabilities. Through a hierarchical structure, EventMamba is adept at abstracting local and global spatial features and implicit and explicit temporal features. By adhering to the lightweight design principle, EventMamba delivers impressive results with minimal computational resource utilization, demonstrating its efficiency and effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL