Do deep neural networks have an inbuilt Occam’s razor?

要約

タイトル：深層ニューラルネットワークには内部的なOccam’s Razorがあるのか？

要約：

– DNNが万能近似器であることが示されているが、その優れた性能は、ネットワークのアーキテクチャ、トレーニングアルゴリズム、データ構造との相互作用から生じる。
– この研究では、DNNが表現する関数に基づくベイジアンの枠組みを適用し、ネットワーク、トレーニングアルゴリズム、データ構造の相互作用を解明する。
– 関数の事前分布は、ネットワークによって決定され、順序付けられたレギュラーな状態とカオス状態の遷移を利用して変化させられる。
– ブール関数分類に対しては、データ上の関数のエラースペクトルを用いて尤度を近似する。
– この分析により、複雑性に応じて指数関数的に増加する関数の数に対抗することができる（コルモゴロフによる）シンプルな関数に対する内在的なOccam’s Razorのような帰納的バイアスがDNNの成功の鍵であることが明らかになった。

要約(オリジナル)

The remarkable performance of overparameterized deep neural networks (DNNs) must arise from an interplay between network architecture, training algorithms, and structure in the data. To disentangle these three components, we apply a Bayesian picture, based on the functions expressed by a DNN, to supervised learning. The prior over functions is determined by the network, and is varied by exploiting a transition between ordered and chaotic regimes. For Boolean function classification, we approximate the likelihood using the error spectrum of functions on data. When combined with the prior, this accurately predicts the posterior, measured for DNNs trained with stochastic gradient descent. This analysis reveals that structured data, combined with an intrinsic Occam’s razor-like inductive bias towards (Kolmogorov) simple functions that is strong enough to counteract the exponential growth of the number of functions with complexity, is a key to the success of DNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI