Langevin Monte-Carlo Provably Learns Depth Two Neural Nets at Any Size and Data

要約

この作業では、Langevin Monte-Carloアルゴリズムがあらゆるサイズの深さ2ニューラルネットを学習できることを確認します。
これは、総変動距離とQ-Renyiの発散の下で、ランジュビンモンテカルロの反復が、スムーズな活性化と分類設定と回帰設定の両方で、これらのネットのいずれかのFrobenius Normの正規化された損失のギブス分布に収束することを示します。
最も重要なことは、結果に必要な正則化の量は、ネットのサイズとは無関係です。
この結果は、2層の神経損失関数が常に一定の一定の量によって常に正規化されるように、彼らがvillani条件を満たすことができることを示す私たちの以前の論文のように、いくつかの最近の観察を組み合わせています。

要約(オリジナル)

In this work, we will establish that the Langevin Monte-Carlo algorithm can learn depth-2 neural nets of any size and for any data and we give non-asymptotic convergence rates for it. We achieve this via showing that under Total Variation distance and q-Renyi divergence, the iterates of Langevin Monte Carlo converge to the Gibbs distribution of Frobenius norm regularized losses for any of these nets, when using smooth activations and in both classification and regression settings. Most critically, the amount of regularization needed for our results is independent of the size of the net. This result combines several recent observations, like our previous papers showing that two-layer neural loss functions can always be regularized by a certain constant amount such that they satisfy the Villani conditions, and thus their Gibbs measures satisfy a Poincare inequality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google