A theory of data variability in Neural Network Bayesian inference

要約

ベイジアン推論とカーネル手法は、機械学習において十分に確立されています。
特に、ニューラル ネットワークのガウス プロセスは、カーネルと推論の方法を使用して、無限に広い隠れ層の限界内でニューラル ネットワークを調査する概念を提供します。
ここでは、この制限に基づいて構築し、無限に広いネットワークの一般化特性をカバーする場の理論的形式主義を提供します。
異種エントリを持つカーネル行列の線形、非線形、および深層非線形ネットワークの一般化特性を系統的に計算します。
現在採用されているスペクトル手法とは対照的に、入力の統計的特性から一般化特性を導き出し、入力の次元、トレーニング データセットのサイズ、データの変動性の相互作用を解明します。
データの変動が ($\varphi^3+\varphi^4$) 理論を彷彿とさせる非ガウス作用を引き起こすことを示します。
合成タスクと MNIST での形式主義を使用して、学習曲線の均一なカーネル行列近似と、データの変動による補正を取得します。これにより、その場合の学習曲線の境界の一般化特性と正確な結果の推定が可能になります。
無限に多くのトレーニング データ ポイントからなる。

要約(オリジナル)

Bayesian inference and kernel methods are well established in machine learning. The neural network Gaussian process in particular provides a concept to investigate neural networks in the limit of infinitely wide hidden layers by using kernel and inference methods. Here we build upon this limit and provide a field-theoretic formalism which covers the generalization properties of infinitely wide networks. We systematically compute generalization properties of linear, non-linear, and deep non-linear networks for kernel matrices with heterogeneous entries. In contrast to currently employed spectral methods we derive the generalization properties from the statistical properties of the input, elucidating the interplay of input dimensionality, size of the training data set, and variability of the data. We show that data variability leads to a non-Gaussian action reminiscent of a ($\varphi^3+\varphi^4$)-theory. Using our formalism on a synthetic task and on MNIST we obtain a homogeneous kernel matrix approximation for the learning curve as well as corrections due to data variability which allow the estimation of the generalization properties and exact results for the bounds of the learning curves in the case of infinitely many training data points.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google