Efficient Spatio-Temporal Signal Recognition on Edge Devices Using PointLCA-Net

要約

特にポイントネットなどの深い学習アーキテクチャを通じて、機械学習の最近の進歩により、3次元（3D）ポイントクラウドの処理が変換され、3Dオブジェクトの分類とセグメンテーションタスクが大幅に改善されました。
3Dポイントクラウドは詳細な空間情報を提供しますが、時空間信号は、時間の経過に伴う変化を説明する動的要素を導入します。
ただし、時空間信号に深い学習手法を適用し、それらをエッジデバイスに展開することは、リアルタイム処理、メモリ容量、消費電力などの課題を提示します。
これらの問題に対処するために、このペーパーでは、ポイントネットの特徴抽出と、時空間信号認識のための神経系システムのメモリコンピューティング機能とエネルギー効率を組み合わせた新しいアプローチを提示します。
提案された方法は、2段階のプロセスで構成されています。最初の段階では、ポイントネットは、時空間信号から特徴を抽出し、その後、不揮発性メモリスタクロスバーアレイに保存されます。
第2段階では、これらの機能は、効率的なエンコードと分類のためにローカル競合アルゴリズム（LCA）を使用する単一層スパイクニューラルエンコーダーデコーダーによって処理されます。
この作業は、ポイントネットとLCAの両方の強度を統合し、エッジデバイスでの計算効率とエネルギー性能を向上させます。
Pointlca-netは、匹敵するアプローチよりも推論とトレーニングの両方で大幅に低いエネルギー負担を伴う時空間データに対して高い認識精度を達成するため、エネルギーに基づいた環境での高度な神経アーキテクチャの展開を進めます。

要約(オリジナル)

Recent advancements in machine learning, particularly through deep learning architectures like PointNet, have transformed the processing of three-dimensional (3D) point clouds, significantly improving 3D object classification and segmentation tasks. While 3D point clouds provide detailed spatial information, spatio-temporal signals introduce a dynamic element that accounts for changes over time. However, applying deep learning techniques to spatio-temporal signals and deploying them on edge devices presents challenges, including real-time processing, memory capacity, and power consumption. To address these issues, this paper presents a novel approach that combines PointNet’s feature extraction with the in-memory computing capabilities and energy efficiency of neuromorphic systems for spatio-temporal signal recognition. The proposed method consists of a two-stage process: in the first stage, PointNet extracts features from the spatio-temporal signals, which are then stored in non-volatile memristor crossbar arrays. In the second stage, these features are processed by a single-layer spiking neural encoder-decoder that employs the Locally Competitive Algorithm (LCA) for efficient encoding and classification. This work integrates the strengths of both PointNet and LCA, enhancing computational efficiency and energy performance on edge devices. PointLCA-Net achieves high recognition accuracy for spatio-temporal data with substantially lower energy burden during both inference and training than comparable approaches, thus advancing the deployment of advanced neural architectures in energy-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google