Binding threshold units with artificial oscillatory neurons

要約

人工岸本振動ニューロンは、しきい値ユニットの代替として最近導入されました。
経験的証拠は、振動ユニットが監視されていないオブジェクトの発見や特定の推論問題を含むいくつかのタスクでしきい値ユニットを上回ることを示唆しています。
これらの振動ニューロンの提案された結合メカニズムは不均一であり、一般化されたクラモト方程式としきい値単位に使用される標準的な結合方法を組み合わせています。
この研究ノートでは、振動ニューロンをしきい値単位と明確に区​​別し、それらの間に結合メカニズムを確立する理論的枠組みを提示します。
生物学的観点から、振動およびしきい値ユニットはニューラルコーディングの明確な側面を実現すると主張します：ほぼ、しきい値単位はニューロン発火のモデル強度であり、振動ユニットは周波数変調による情報交換を促進します。
これら2つのタイプのユニット間の相互作用を導き出すために、リアプノフ機能を認める動的システムに焦点を当てることにより、それらのダイナミクスを制約します。
しきい値ユニットの場合、これはホップフィールド連想メモリモデルにつながり、振動ユニットの場合、一般化されたkuramotoモデルの特定の形態が得られます。
結果として生じる動的システムは、自然に結合して、リアプノフ関数を認めるホップフィールドと黒本の連想メモリモデルを形成できます。
さまざまな形のカップリングが可能です。
特に、振動ニューロンを使用して、ホップフィールドネットワークの重量マトリックスに対する低ランク補正を実装できます。
この修正は、ヘビアン学習の形式として、または大規模な言語モデルの微調整に使用される一般的なLORAメソッドとして見ることができます。
私たちは、実例的な玩具実験を通じてこの特定の結合の実際的な実現を実証します。

要約(オリジナル)

Artificial Kuramoto oscillatory neurons were recently introduced as an alternative to threshold units. Empirical evidence suggests that oscillatory units outperform threshold units in several tasks including unsupervised object discovery and certain reasoning problems. The proposed coupling mechanism for these oscillatory neurons is heterogeneous, combining a generalized Kuramoto equation with standard coupling methods used for threshold units. In this research note, we present a theoretical framework that clearly distinguishes oscillatory neurons from threshold units and establishes a coupling mechanism between them. We argue that, from a biological standpoint, oscillatory and threshold units realise distinct aspects of neural coding: roughly, threshold units model intensity of neuron firing, while oscillatory units facilitate information exchange by frequency modulation. To derive interaction between these two types of units, we constrain their dynamics by focusing on dynamical systems that admit Lyapunov functions. For threshold units, this leads to Hopfield associative memory model, and for oscillatory units it yields a specific form of generalized Kuramoto model. The resulting dynamical systems can be naturally coupled to form a Hopfield-Kuramoto associative memory model, which also admits a Lyapunov function. Various forms of coupling are possible. Notably, oscillatory neurons can be employed to implement a low-rank correction to the weight matrix of a Hopfield network. This correction can be viewed either as a form of Hebbian learning or as a popular LoRA method used for fine-tuning of large language models. We demonstrate the practical realization of this particular coupling through illustrative toy experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google