Context-sensitive neocortical neurons transform the effectiveness and efficiency of neural information processing

要約

タイトル：文脈に敏感な新皮質ニューロンが神経情報処理の効率性と有効性を変える

要約：
– DL(Deep Learning)は、現実世界の多くの領域において、ヒトと同じか、それ以上の大量のデータを処理する能力を持っています。しかし、高いエネルギー要件や、まれに大きな誤差が生じるというコストもかかります。
– 本研究では、DLの根本的な弱点は、現在の文脈に関係なく情報伝達を最大化する積分-発火点ニューロンに基づくことにあると仮定しています。これにより、不必要なニューロンの発火や矛盾するメッセージの伝達が発生し、学習が困難になり、エネルギー効率が低下します。
– 本研究では、多様なソースからの入力を文脈として受け取る文脈に敏感な新皮質ニューロンの能力を模倣することで、これらの限界を回避する方法を示しています。これにより、多くの異質な現実世界のデータを処理するために必要なニューロン活動を減らし、矛盾する情報の伝達を上位レベルに制限することで効率的かつ効果的になります。
– この2点ニューロンの研究は、現在のDL形式よりもはるかに有効で効率的であることが示され、深層ネットワークアーキテクチャの細胞基盤の変革につながる可能性があります。

要約(オリジナル)

Deep learning (DL) has big-data processing capabilities that are as good, or even better, than those of humans in many real-world domains, but at the cost of high energy requirements that may be unsustainable in some applications and of errors, that, though infrequent, can be large. We hypothesise that a fundamental weakness of DL lies in its intrinsic dependence on integrate-and-fire point neurons that maximise information transmission irrespective of whether it is relevant in the current context or not. This leads to unnecessary neural firing and to the feedforward transmission of conflicting messages, which makes learning difficult and processing energy inefficient. Here we show how to circumvent these limitations by mimicking the capabilities of context-sensitive neocortical neurons that receive input from diverse sources as a context to amplify and attenuate the transmission of relevant and irrelevant information, respectively. We demonstrate that a deep network composed of such local processors seeks to maximise agreement between the active neurons, thus restricting the transmission of conflicting information to higher levels and reducing the neural activity required to process large amounts of heterogeneous real-world data. As shown to be far more effective and efficient than current forms of DL, this two-point neuron study offers a possible step-change in transforming the cellular foundations of deep network architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI