Global $\mathcal{L}^2$ minimization at uniform exponential rate via geometrically adapted gradient descent in Deep Learning

要約

深層学習 (DL) ネットワークにおける教師あり学習のシナリオを検討し、勾配降下流を定義できるリーマン計量の選択の恣意性 (微分幾何学の一般的な事実) を利用します。
DL への標準的なアプローチでは、パラメーター (重みとバイアス) の空間上の勾配フローがユークリッド計量に関して定義されます。
ここでは代わりに、DL ネットワークの出力層のユークリッド メトリックに基づいて勾配フローを選択します。
これにより、パラメータ空間に勾配降下フローの 2 つの修正バージョンが自然に誘導されます。1 つは過剰なパラメータ化された設定に適応され、もう 1 つは過小なパラメータ化された設定に適応されます。
オーバーパラメータ化の場合、ランク条件が成立する限り、修正勾配降下法のすべての軌道が ${\mathcal L}^2$ コストを一様な指数収束率でそのグローバル最小値まで駆動することを証明します。
これにより、グローバル最小値への任意の所定の近傍に対するアプリオリな停止時間を得ることができる。
我々は後者とサブリーマン幾何学との関係を指摘する。
さらに、上記のフレームワークをランク条件が成立しない状況に一般化します。
特に、局所均衡はランク損失が発生した場合にのみ存在し、一般的にそれらは孤立点ではなくパラメータ空間の臨界部分多様体の要素であることを示します。

要約(オリジナル)

We consider the scenario of supervised learning in Deep Learning (DL) networks, and exploit the arbitrariness of choice in the Riemannian metric relative to which the gradient descent flow can be defined (a general fact of differential geometry). In the standard approach to DL, the gradient flow on the space of parameters (weights and biases) is defined with respect to the Euclidean metric. Here instead, we choose the gradient flow with respect to the Euclidean metric in the output layer of the DL network. This naturally induces two modified versions of the gradient descent flow in the parameter space, one adapted for the overparametrized setting, and the other for the underparametrized setting. In the overparametrized case, we prove that, provided that a rank condition holds, all orbits of the modified gradient descent drive the ${\mathcal L}^2$ cost to its global minimum at a uniform exponential convergence rate; one thereby obtains an a priori stopping time for any prescribed proximity to the global minimum. We point out relations of the latter to sub-Riemannian geometry. Moreover, we generalize the above framework to the situation in which the rank condition does not hold; in particular, we show that local equilibria can only exist if a rank loss occurs, and that generically, they are not isolated points, but elements of a critical submanifold of parameter space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google