Perceptron Theory Can Predict the Accuracy of Neural Networks

要約

多層ニューラル ネットワークは、多くの技術的な分類問題に対する現在の最先端技術を確立します。
しかし、これらのネットワークは、分析とパフォーマンスの予測という点では、依然として本質的にブラック ボックスです。
ここでは、1 層パーセプトロンの統計理論を開発し、それが異なるアーキテクチャを持つ驚くほど多種多様なニューラル ネットワークのパフォーマンスを予測できることを示します。
パーセプトロンによる分類の一般理論は、ベクトル シンボリック アーキテクチャとして知られる記号推論のためのリザーバー コンピューティング モデルとコネクショニスト モデルを分析するための既存の理論を一般化することによって開発されます。
私たちの統計理論では、信号統計をより詳細に活用する 3 つの式が提供されます。
式は解析的には扱いにくいですが、数値的に評価することは可能です。
最大限の詳細を取得する記述レベルには、確率的サンプリング手法が必要です。
ネットワーク モデルによっては、より単純な式ですでに高い予測精度が得られます。
理論予測の品質は、リザーバー コンピューティングの文献からのエコー ステート ネットワーク (ESN) の記憶タスク、浅いランダム接続ネットワークの分類データセットのコレクション、深い畳み込みニューラル ネットワークの ImageNet データセットの 3 つの実験設定で評価されます。
パーセプトロン理論の第 2 記述レベルでは、以前は記述できなかったタイプの ESN のパフォーマンスを予測できることがわかりました。
この理論は、出力層に適用することで、深層多層ニューラル ネットワークを予測できます。
ニューラル ネットワークのパフォーマンスを予測する他の方法では一般に推定モデルのトレーニングが必要ですが、提案された理論では出力ニューロンのシナプス後和の分布の最初の 2 つのモーメントのみが必要です。
パーセプトロン理論は、推定モデルのトレーニングに依存しない他の方法と比べて優れています。

要約(オリジナル)

Multilayer neural networks set the current state of the art for many technical classification problems. But, these networks are still, essentially, black boxes in terms of analyzing them and predicting their performance. Here, we develop a statistical theory for the one-layer perceptron and show that it can predict performances of a surprisingly large variety of neural networks with different architectures. A general theory of classification with perceptrons is developed by generalizing an existing theory for analyzing reservoir computing models and connectionist models for symbolic reasoning known as vector symbolic architectures. Our statistical theory offers three formulas leveraging the signal statistics with increasing detail. The formulas are analytically intractable, but can be evaluated numerically. The description level that captures maximum details requires stochastic sampling methods. Depending on the network model, the simpler formulas already yield high prediction accuracy. The quality of the theory predictions is assessed in three experimental settings, a memorization task for echo state networks (ESNs) from reservoir computing literature, a collection of classification datasets for shallow randomly connected networks, and the ImageNet dataset for deep convolutional neural networks. We find that the second description level of the perceptron theory can predict the performance of types of ESNs, which could not be described previously. The theory can predict deep multilayer neural networks by being applied to their output layer. While other methods for prediction of neural networks performance commonly require to train an estimator model, the proposed theory requires only the first two moments of the distribution of the postsynaptic sums in the output neurons. The perceptron theory compares favorably to other methods that do not rely on training an estimator model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google