Using Linear Regression for Iteratively Training Neural Networks

要約

標準的な勾配ベースのバックプロパゲーションの代替として、ニューラル ネットワークの重みとバイアスを学習するための単純な線形回帰ベースのアプローチを紹介します。
この研究は本質的に探索的なものであり、説明と実験を (i) 単純なフィードフォワード ニューラル ネットワーク、(ii) スカラー (単一出力) 回帰問題、および (iii) 可逆活性化関数に限定します。
ただし、このアプローチは、より大規模で複雑なアーキテクチャに拡張できることを目的としています。
重要なアイデアは、ニューラル ネットワーク内のすべてのニューロンへの入力が、前の層のニューロンの活性化と層のパラメーター (重みとバイアス) の線形結合であるという観察です。
出力から逆算してすべてのニューロンへの理想的な合計入力値を計算できれば、パラメーターと活性化値の更新を繰り返す線形最小二乗問題として学習問題を定式化できます。
我々は、このアイデアを実装する明示的なアルゴリズムを提示し、(少なくとも小さな問題に対しては) このアプローチが勾配ベースの手法よりも安定しており、高速であることを示します。

要約(オリジナル)

We present a simple linear regression based approach for learning the weights and biases of a neural network, as an alternative to standard gradient based backpropagation. The present work is exploratory in nature, and we restrict the description and experiments to (i) simple feedforward neural networks, (ii) scalar (single output) regression problems, and (iii) invertible activation functions. However, the approach is intended to be extensible to larger, more complex architectures. The key idea is the observation that the input to every neuron in a neural network is a linear combination of the activations of neurons in the previous layer, as well as the parameters (weights and biases) of the layer. If we are able to compute the ideal total input values to every neuron by working backwards from the output, we can formulate the learning problem as a linear least squares problem which iterates between updating the parameters and the activation values. We present an explicit algorithm that implements this idea, and we show that (at least for small problems) the approach is more stable and faster than gradient-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google