Enhancing learning in artificial neural networks through cellular heterogeneity and neuromodulatory signaling

要約

近年の人工知能（AI）の進歩は、神経科学からの洞察、特に人工ニューラルネットワーク（ANN）の開発に牽引されてきた。これにより、視覚や自然言語処理といった複雑な認知タスクの再現性が大幅に向上した。このような進歩にもかかわらず、ANNは、継続的な学習、適応可能な知識伝達、頑健性、リソース効率といった、生体システムがシームレスに扱う能力に苦戦している。特に、ANNはしばしば脳の機能的・形態的多様性を見落としており、計算能力の妨げとなっている。さらに、神経細胞の多様性を持つANNに、細胞タイプに特異的な神経調節効果を取り入れることで、神経細胞レベルでのスパイキング行動と回路レベルでのシナプス可塑性という2つの空間スケールでの学習が可能になり、学習能力が向上する可能性がある。本論文では、最近の生物学的知見に基づくモデル、学習ルール、アーキテクチャを要約し、ANNを強化するための生物学的知見に基づくフレームワークを提案する。提案する二重フレームワークのアプローチでは、多様なスパイキング動作をエミュレートするスパイキングニューラルネットワーク（SNN）と、ニューロン計算の形態的・機能的多様性をシミュレートする樹状突起コンパートメントの可能性を強調する。最後に、提案するアプローチが、脳から着想を得たコンパートメントモデルとタスク駆動型SNNをどのように統合し、生物学的着想と複雑性のバランスをとり、継続的学習、適応性、頑健性、資源効率などの差し迫ったAIの課題に対するスケーラブルな解決策を提供するかを概説する。

要約(オリジナル)

Recent progress in artificial intelligence (AI) has been driven by insights from neuroscience, particularly with the development of artificial neural networks (ANNs). This has significantly enhanced the replication of complex cognitive tasks such as vision and natural language processing. Despite these advances, ANNs struggle with continual learning, adaptable knowledge transfer, robustness, and resource efficiency – capabilities that biological systems handle seamlessly. Specifically, ANNs often overlook the functional and morphological diversity of the brain, hindering their computational capabilities. Furthermore, incorporating cell-type specific neuromodulatory effects into ANNs with neuronal heterogeneity could enable learning at two spatial scales: spiking behavior at the neuronal level, and synaptic plasticity at the circuit level, thereby potentially enhancing their learning abilities. In this article, we summarize recent bio-inspired models, learning rules and architectures and propose a biologically-informed framework for enhancing ANNs. Our proposed dual-framework approach highlights the potential of spiking neural networks (SNNs) for emulating diverse spiking behaviors and dendritic compartments to simulate morphological and functional diversity of neuronal computations. Finally, we outline how the proposed approach integrates brain-inspired compartmental models and task-driven SNNs, balances bioinspiration and complexity, and provides scalable solutions for pressing AI challenges, such as continual learning, adaptability, robustness, and resource-efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL