Non-linear Neurons with Human-like Apical Dendrite Activations

要約

線形非分離データを分類するために、ニューロンは通常、少なくとも 1 つの隠れ層を備えた多層ニューラル ネットワークに編成されます。
神経科学における最近の発見に触発されて、我々は、単一ニューロンを使用して非線形決定境界の学習を可能にする新しい活性化関数とともに、人工ニューロンの新しいモデルを提案します。
私たちは、標準的なニューロンに続いて新しい頂端樹状突起活性化 (ADA) を実行すると、XOR 論理関数を 100% の精度で学習できることを示します。
さらに、コンピュータービジョン、信号処理、自然言語処理の 6 つのベンチマークデータセット (MOROCO、UTKFace、CREMA-D、Fashion-MNIST、Tiny ImageNet、ImageNet) で実験を実施し、ADA とリーキー ADA 関数が優れた性能を提供することを示しています。
結果は、さまざまなニューラル ネットワーク アーキテクチャ用の Rectified Linear Units (ReLU)、Leaky ReLU、RBF、Swish に変換されます。
1 隠れ層または 2 隠れ層の多層パーセプトロン (MLP) および LeNet、VGG、ResNet、キャラクターレベル CNN などの畳み込みニューラル ネットワーク (CNN)。
ニューロンの標準モデルを、頂端樹状突起活性化を備えた錐体ニューロン (PyNADA) に変更すると、さらなるパフォーマンスの向上が得られます。
コードは https://github.com/raduionescu/pynada で入手できます。

要約(オリジナル)

In order to classify linearly non-separable data, neurons are typically organized into multi-layer neural networks that are equipped with at least one hidden layer. Inspired by some recent discoveries in neuroscience, we propose a new model of artificial neuron along with a novel activation function enabling the learning of nonlinear decision boundaries using a single neuron. We show that a standard neuron followed by our novel apical dendrite activation (ADA) can learn the XOR logical function with 100% accuracy. Furthermore, we conduct experiments on six benchmark data sets from computer vision, signal processing and natural language processing, i.e. MOROCO, UTKFace, CREMA-D, Fashion-MNIST, Tiny ImageNet and ImageNet, showing that the ADA and the leaky ADA functions provide superior results to Rectified Linear Units (ReLU), leaky ReLU, RBF and Swish, for various neural network architectures, e.g. one-hidden-layer or two-hidden-layer multi-layer perceptrons (MLPs) and convolutional neural networks (CNNs) such as LeNet, VGG, ResNet and Character-level CNN. We obtain further performance improvements when we change the standard model of the neuron with our pyramidal neuron with apical dendrite activations (PyNADA). Our code is available at: https://github.com/raduionescu/pynada.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google