The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks

要約

生体皮質ニューロンは、非常に高度な計算装置であり、複雑な非線形相互作用の内部生物学的プロセスを受けて、複雑な樹状突起上で膨大なシナプス入力を時間的に統合します。
最近の研究では、詳細な生物物理学的皮質錐体ニューロン モデルの入出力関係を再現する正確なサロゲート モデルをフィッティングすることで、この複雑性を特徴付けることが提案されており、それには数百万のパラメーターを備えた時間畳み込みネットワーク (TCN) が必要であることが判明しました。
ただし、これらの多くのパラメータが必要になるのは、TCN の誘導バイアスと皮質ニューロンの計算の間の不整合の結果である可能性があります。
これを踏まえ、リーキーメモリユニットと非線形樹状突起処理の計算上の意味を探ることを目的として、生物学的にインスピレーションを得た皮質ニューロンの現象論的モデルであるExpressive Leaky Memory (ELM) ニューロンモデルを紹介します。
注目すべきことに、このようなゆっくりと減衰するいくつかの記憶のような隠れ状態と、シナプス入力の 2 層の非線形統合を利用することにより、私たちの ELM ニューロンは、1 万以下のトレーニング可能なパラメーターで前述の入出力関係を正確に一致させることができます。
ニューロン設計の計算上の影響をさらに評価するために、ロング レンジ アリーナ (LRA) データセットや、スパイキング ハイデルベルク ディジット データセット (SHD-Adding) に基づく新しいニューロモーフィック データセットなど、要求の厳しい時間構造を含むさまざまなタスクを評価します。
。
十分に長いタイムスケールを持つ多数のメモリ ユニットと、それに対応して高度なシナプス統合を活用する ELM ニューロンは、両方のデータセットで競争力があることが証明され、後者では古典的な Transformer または Chrono-LSTM アーキテクチャを確実に上回り、Pathfinder-X タスクを解決することさえできます。
$70\%$ を超える精度 (コンテキスト長 16,000)。

要約(オリジナル)

Biological cortical neurons are remarkably sophisticated computational devices, temporally integrating their vast synaptic input over an intricate dendritic tree, subject to complex, nonlinearly interacting internal biological processes. A recent study proposed to characterize this complexity by fitting accurate surrogate models to replicate the input-output relationship of a detailed biophysical cortical pyramidal neuron model and discovered it needed temporal convolutional networks (TCN) with millions of parameters. Requiring these many parameters, however, could be the result of a misalignment between the inductive biases of the TCN and cortical neuron’s computations. In light of this, and with the aim to explore the computational implications of leaky memory units and nonlinear dendritic processing, we introduce the Expressive Leaky Memory (ELM) neuron model, a biologically inspired phenomenological model of a cortical neuron. Remarkably, by exploiting a few such slowly decaying memory-like hidden states and two-layered nonlinear integration of synaptic input, our ELM neuron can accurately match the aforementioned input-output relationship with under ten-thousand trainable parameters. To further assess the computational ramifications of our neuron design, we evaluate on various tasks with demanding temporal structures, including the Long Range Arena (LRA) datasets, as well as a novel neuromorphic dataset based on the Spiking Heidelberg Digits dataset (SHD-Adding). Leveraging a larger number of memory units with sufficiently long timescales, and correspondingly sophisticated synaptic integration, the ELM neuron proves to be competitive on both datasets, reliably outperforming the classic Transformer or Chrono-LSTM architectures on latter, even solving the Pathfinder-X task with over $70\%$ accuracy (16k context length).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google