A Joint Visual Compression and Perception Framework for Neuralmorphic Spiking Camera

要約

NeuralMorphic Spikeカメラの出現は、比類のない時間分解能で連続運動をキャプチャする能力に大きな注意を払います。
哺乳類のビジョンシステムからのインスピレーションは、空間セマンティクスとモーション情報を個別に処理するためのデュアルパスウェイアーキテクチャを提案します。これは、圧縮のための特徴を生成するために統合されます。デコードされた機能とモーションベクトル間の一貫性も確実に導入されます。
当社のスキームは、スパイク圧縮と分析のための最先端の（SOTA）パフォーマンスを達成します。SOTAコーデックと比較して平均17.25％のBDレート削減を達成し、スパイクベースの分類のスピロコよりも4.3％の精度の改善を達成し、88.26％の複雑さの減少と42.41％の侵入時間を節約します。

要約(オリジナル)

The advent of neuralmorphic spike cameras has garnered significant attention for their ability to capture continuous motion with unparalleled temporal resolution.However, this imaging attribute necessitates considerable resources for binary spike data storage and transmission.In light of compression and spike-driven intelligent applications, we present the notion of Spike Coding for Intelligence (SCI), wherein spike sequences are compressed and optimized for both bit-rate and task performance.Drawing inspiration from the mammalian vision system, we propose a dual-pathway architecture for separate processing of spatial semantics and motion information, which is then merged to produce features for compression.A refinement scheme is also introduced to ensure consistency between decoded features and motion vectors.We further propose a temporal regression approach that integrates various motion dynamics, capitalizing on the advancements in warping and deformation simultaneously.Comprehensive experiments demonstrate our scheme achieves state-of-the-art (SOTA) performance for spike compression and analysis.We achieve an average 17.25% BD-rate reduction compared to SOTA codecs and a 4.3% accuracy improvement over SpiReco for spike-based classification, with 88.26% complexity reduction and 42.41% inference time saving on the encoding side.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google