Brain-Inspired Spiking Neural Network for Online Unsupervised Time Series Prediction

要約

タイトル：オンライン非監視時系列予測のための脳に着想を得たスパイキングニューラルネットワーク

要約：
– 現在のDNNベースの監視付きオンライン学習モデルは大量のトレーニングデータを必要とし、基礎となるシステムが変更された場合に素早く適応することができないため、エネルギーとデータ効率の良いオンライン時系列予測のためには非常に効率が悪い。
– 入力データが逐次的に与えられる場合、エッジAIアプリケーションなどで必要とされる。
– よって、本論文では、SPIKE依存性可塑性（STDP）を用いてトレーニングされたContinuous Learning-based Unsupervised Recurrent Spiking Neural Networkモデル（CLURSNN）を提案する。
– CLURSNNは、最も優れた中心性を持つRSNNの再帰レイヤーのニューロンの膜電位を測定し、ランダム遅延埋め込みを使用して基礎となる動的システムを再構築することによってオンライン予測を行う。
– ピストロール同相性の予測と観測された時系列のワッサーシュタイン距離を損失関数として使用するトポロジカルデータ解析を使用して、新しい手法を提案する。
– この提案されたオンライン時系列予測手法が、進化するLorenz63動的システムの予測において、最新のDNNモデルよりも優れた成績を収めることを示す。

要約(オリジナル)

Energy and data-efficient online time series prediction for predicting evolving dynamical systems are critical in several fields, especially edge AI applications that need to update continuously based on streaming data. However, current DNN-based supervised online learning models require a large amount of training data and cannot quickly adapt when the underlying system changes. Moreover, these models require continuous retraining with incoming data making them highly inefficient. To solve these issues, we present a novel Continuous Learning-based Unsupervised Recurrent Spiking Neural Network Model (CLURSNN), trained with spike timing dependent plasticity (STDP). CLURSNN makes online predictions by reconstructing the underlying dynamical system using Random Delay Embedding by measuring the membrane potential of neurons in the recurrent layer of the RSNN with the highest betweenness centrality. We also use topological data analysis to propose a novel methodology using the Wasserstein Distance between the persistence homologies of the predicted and observed time series as a loss function. We show that the proposed online time series prediction methodology outperforms state-of-the-art DNN models when predicting an evolving Lorenz63 dynamical system.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI