Bio-Inspired Mamba: Temporal Locality and Bioplausible Learning in Selective State Space Models

要約

この論文では、生物学的学習原理と Mamba アーキテクチャを統合した、選択的状態空間モデル用の新しいオンライン学習フレームワークである Bio-Inspired Mamba (BIM) を紹介します。
BIM は、リアルタイム反復学習 (RTRL) とスパイク タイミング依存可塑性 (STDP) のようなローカル学習ルールを組み合わせて、スパイク ニューラル ネットワークのトレーニングにおける時間的局所性と生物学的妥当性の課題に対処します。
私たちのアプローチは、時間によるバックプロパゲーションと STDP の間の固有の関係を活用し、長距離の依存関係を捕捉する能力を維持する計算効率の高い代替手段を提供します。
私たちは、言語モデリング、音声認識、生体信号分析タスクに関する BIM を評価し、生物学的学習原理を遵守しながら、従来の方法と競合するパフォーマンスを実証します。
結果は、エネルギー効率の向上とニューロモーフィック ハードウェア実装の可能性を示しています。
BIM は、生物学的に妥当な機械学習の分野を進歩させるだけでなく、生物学的ニューラル ネットワークにおける時間情報処理のメカニズムへの洞察も提供します。

要約(オリジナル)

This paper introduces Bio-Inspired Mamba (BIM), a novel online learning framework for selective state space models that integrates biological learning principles with the Mamba architecture. BIM combines Real-Time Recurrent Learning (RTRL) with Spike-Timing-Dependent Plasticity (STDP)-like local learning rules, addressing the challenges of temporal locality and biological plausibility in training spiking neural networks. Our approach leverages the inherent connection between backpropagation through time and STDP, offering a computationally efficient alternative that maintains the ability to capture long-range dependencies. We evaluate BIM on language modeling, speech recognition, and biomedical signal analysis tasks, demonstrating competitive performance against traditional methods while adhering to biological learning principles. Results show improved energy efficiency and potential for neuromorphic hardware implementation. BIM not only advances the field of biologically plausible machine learning but also provides insights into the mechanisms of temporal information processing in biological neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google