Regularized Gradient Clipping Provably Trains Wide and Deep Neural Networks

要約

この研究では、勾配クリッピング アルゴリズムの正規化された形式をインスタンス化し、ネットが十分な幅であれば、それがディープ ニューラル ネットワークの損失関数の大域的最小値に収束できることを証明します。
私たちは、理論的に確立された正規化勾配クリッピング アルゴリズムが最先端の深層学習ヒューリスティックと競合するという経験的証拠を提示します。
したがって、ここで紹介するアルゴリズムは、厳密な深層学習への新しいアプローチを構成します。
標準的な勾配クリッピングに対して行う変更は、初期化の近傍内の任意の深さについてさまざまなニューラル ネットワークに当てはまることが最近証明された Polyak-Lojasiewicz 不等式の変形である PL* 条件を利用するように設計されています。

要約(オリジナル)

In this work, we instantiate a regularized form of the gradient clipping algorithm and prove that it can converge to the global minima of deep neural network loss functions provided that the net is of sufficient width. We present empirical evidence that our theoretically founded regularized gradient clipping algorithm is also competitive with the state-of-the-art deep-learning heuristics. Hence the algorithm presented here constitutes a new approach to rigorous deep learning. The modification we do to standard gradient clipping is designed to leverage the PL* condition, a variant of the Polyak-Lojasiewicz inequality which was recently proven to be true for various neural networks for any depth within a neighborhood of the initialisation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google