Advancing the Biological Plausibility and Efficacy of Hebbian Convolutional Neural Networks

要約

このペーパーで提示された研究は、イメージ処理のためのヘビアン学習の畳み込みニューラルネットワーク（CNNS）への統合を進め、さまざまなアーキテクチャを体系的に探索して最適な構成を構築し、生物学的テンデビリティに準拠しています。
Hebbian Learningは、地元の監視されていない神経情報に基づいて機能して特徴表現を形成し、一般的であるが、おそらく生物学的に信じられない、計算的に集中的なバックプロパゲーション学習アルゴリズムに代わるものを提供します。
提案された最適なアーキテクチャは、ヘビアン学習を競争メカニズムとCNNと統合することを目的とした最近の研究を大幅に強化し、ハードウィナーテイクス（WTA）競争、ガウスの横方向の阻害メカニズム、および単一モデルでのBIENENSTOCK-COOPER-MUNRO（BCM）学習ルールを組み込むことにより、その表現能力を拡大します。
CIFAR-10のテストエポックの後期における平均精度分類尺度は、結果として生じる最適モデルがエンドツーエンドのバックプロパゲーションバリアントとそれぞれ75.2％と一致し、同じネットワーク深度（64.6％）のCNNSの最先端のハードWTAパフォーマンスを10.6％上回ることを明らかにしました。
また、MNIST（98％）とSTL-10（69.5％）で競争力のあるパフォーマンスを達成しました。
さらに、結果は、ますます複雑で抽象的な受容フィールドを介したまばらな階層学習の明確な兆候を示しました。
要約すると、私たちの実装は、学習した表現のパフォーマンスと一般化の両方を強化し、より生物学的に現実的な人工ニューラルネットワークへの重要なステップを構成します。

要約(オリジナル)

The research presented in this paper advances the integration of Hebbian learning into Convolutional Neural Networks (CNNs) for image processing, systematically exploring different architectures to build an optimal configuration, adhering to biological tenability. Hebbian learning operates on local unsupervised neural information to form feature representations, providing an alternative to the popular but arguably biologically implausible and computationally intensive backpropagation learning algorithm. The suggested optimal architecture significantly enhances recent research aimed at integrating Hebbian learning with competition mechanisms and CNNs, expanding their representational capabilities by incorporating hard Winner-Takes-All (WTA) competition, Gaussian lateral inhibition mechanisms, and Bienenstock-Cooper-Munro (BCM) learning rule in a single model. Mean accuracy classification measures during the last half of test epochs on CIFAR-10 revealed that the resulting optimal model matched its end-to-end backpropagation variant with 75.2% each, critically surpassing the state-of-the-art hard-WTA performance in CNNs of the same network depth (64.6%) by 10.6%. It also achieved competitive performance on MNIST (98%) and STL-10 (69.5%). Moreover, results showed clear indications of sparse hierarchical learning through increasingly complex and abstract receptive fields. In summary, our implementation enhances both the performance and the generalisability of the learnt representations and constitutes a crucial step towards more biologically realistic artificial neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google