Distributed Representations Enable Robust Multi-Timescale Computation in Neuromorphic Hardware

要約

マルチタイムスケールの計算を堅牢に実行するリカレント スパイキング ニューラル ネットワーク (RSNN) をプログラミングすることは、依然として困難な課題です。
これに対処するために、表現の最小単位として高次元のランダム ベクトルを使用するベクトル シンボリック アーキテクチャ (VSA) によって提供される分散アプローチを利用して、アトラクター ベースの RSNN に堅牢なマルチタイムスケール ダイナミクスを組み込む方法を示します。
対称的な自動連想重み行列と非対称な遷移項を重ね合わせることで、有限状態マシンを RSNN ダイナミクスに埋め込みます。
遷移項は、入力の VSA バインディングと状態間のヘテロ結合外積によって形成されます。
私たちのアプローチは、非常に非理想的な重みを使用したシミュレーションを通じて検証されています。
実験的な閉ループのメムリスティブ ハードウェア セットアップ。
Loihi 2 では、大規模なステート マシンまでシームレスに拡張できます。
この研究は、パラメーターの微調整や大幅なプラットフォーム固有の最適化を必要とせずに、ニューロモーフィック ハードウェアにリカレント ダイナミクスを使用した堅牢な計算を埋め込むための VSA 表現の有効性を実証します。
これにより、VSA はニューロモーフィック ハードウェアの認知アルゴリズム用の高レベルの表現不変抽象言語として進歩します。

要約(オリジナル)

Programming recurrent spiking neural networks (RSNNs) to robustly perform multi-timescale computation remains a difficult challenge. To address this, we show how the distributed approach offered by vector symbolic architectures (VSAs), which uses high-dimensional random vectors as the smallest units of representation, can be leveraged to embed robust multi-timescale dynamics into attractor-based RSNNs. We embed finite state machines into the RSNN dynamics by superimposing a symmetric autoassociative weight matrix and asymmetric transition terms. The transition terms are formed by the VSA binding of an input and heteroassociative outer-products between states. Our approach is validated through simulations with highly non-ideal weights; an experimental closed-loop memristive hardware setup; and on Loihi 2, where it scales seamlessly to large state machines. This work demonstrates the effectiveness of VSA representations for embedding robust computation with recurrent dynamics into neuromorphic hardware, without requiring parameter fine-tuning or significant platform-specific optimisation. This advances VSAs as a high-level representation-invariant abstract language for cognitive algorithms in neuromorphic hardware.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google