Scalable Optimization in the Modular Norm

要約

現代の深層学習のパフォーマンスを向上させるために、層の数とサイズの両方の点でニューラル ネットワークをスケールアップすることに関心があります。
単一レイヤーの幅を増やす場合、トレーニングの適切なスケーリングは、そのレイヤーに特有の「自然な標準」で重みとその更新を正規化する必要性に関連しています。
この論文では、ニューラル ネットワーク アーキテクチャの全重み空間における自然規範であるモジュラー ノルムを定義することで、この考え方を大幅に一般化します。
モジュール標準は、ネットワーク アーキテクチャ自体と連携して再帰的に定義されます。
モジュール標準にはいくつかの有望な応用例があることを示します。
実際的な面では、モジュール式ノルムを使用して基本オプティマイザーの更新を正規化することができるため、学習率が幅と深さにわたって転送可能になります。
これは、ユーザーがトレーニングをスケールするためにオプティマイザー固有のスケール係数を計算する必要がないことを意味します。
理論面では、「正常に動作する」アトミック モジュールから構築されたニューラル ネットワークの場合、ネットワークの勾配はモジュラー標準においてリプシッツ連続であり、リプシッツ定数は単純な再帰式を許容することを示します。
この特徴付けは、最適化理論の標準的なアイデアを深層学習に移植するための扉を開きます。
私たちは、アーキテクチャのモジュラー標準で重みの更新を自動的に正規化する Modula と呼ばれる Python パッケージを作成しました。
このパッケージは、https://github.com/jxbz/modula にあるソース コードとともに「pip install modula」経由で入手できます。

要約(オリジナル)

To improve performance in contemporary deep learning, one is interested in scaling up the neural network in terms of both the number and the size of the layers. When ramping up the width of a single layer, graceful scaling of training has been linked to the need to normalize the weights and their updates in the ‘natural norm’ particular to that layer. In this paper, we significantly generalize this idea by defining the modular norm, which is the natural norm on the full weight space of any neural network architecture. The modular norm is defined recursively in tandem with the network architecture itself. We show that the modular norm has several promising applications. On the practical side, the modular norm can be used to normalize the updates of any base optimizer so that the learning rate becomes transferable across width and depth. This means that the user does not need to compute optimizer-specific scale factors in order to scale training. On the theoretical side, we show that for any neural network built from ‘well-behaved’ atomic modules, the gradient of the network is Lipschitz-continuous in the modular norm, with the Lipschitz constant admitting a simple recursive formula. This characterization opens the door to porting standard ideas in optimization theory over to deep learning. We have created a Python package called Modula that automatically normalizes weight updates in the modular norm of the architecture. The package is available via ‘pip install modula’ with source code at https://github.com/jxbz/modula.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google