QuasiNet: a neural network with trainable product layers

要約

従来のニューラル ネットワークは、隠れニューロンの数が少ない場合、XOR やパリティなどの難しい問題で限られた収束しか達成できません。
これらの問題におけるニューラル ネットワークの成功率を向上させるという動機で、いわゆる積ニューロンを備えた既存のニューラル ネットワーク モデルと、相互問題をエレガントに解決する古典的な誤差逆伝播から導出された学習ルールに触発された新しいニューラル ネットワーク モデルを提案します。
排他的な状況。
重みが事前に設定されており、適応できない既存のプロダクト ニューロンとは異なり、ニューロンのプロダクト レイヤーも学習します。
私たちはモデルをテストし、前述の問題や 2 つのスパイラルなどの他の困難な問題において、その成功率を古典的な多層パーセプトロンと比較しました。
私たちの結果は、私たちのモデルが従来の MLP よりも明らかに成功しており、多くのタスクやアプリケーションで使用できる可能性があることを示しています。

要約(オリジナル)

Classical neural networks achieve only limited convergence in hard problems such as XOR or parity when the number of hidden neurons is small. With the motivation to improve the success rate of neural networks in these problems, we propose a new neural network model inspired by existing neural network models with so called product neurons and a learning rule derived from classical error backpropagation, which elegantly solves the problem of mutually exclusive situations. Unlike existing product neurons, which have weights that are preset and not adaptable, our product layers of neurons also do learn. We tested the model and compared its success rate to a classical multilayer perceptron in the aforementioned problems as well as in other hard problems such as the two spirals. Our results indicate that our model is clearly more successful than the classical MLP and has the potential to be used in many tasks and applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google