Old Optimizer, New Norm: An Anthology

要約

深層学習オプティマイザーは、多くの場合、凸理論と近似二次理論の組み合わせを通じて動機付けられます。
我々は、そのような手法として Adam、Shampoo、Prodigy の 3 つを選択し、各手法は凸性の仮定を持たない正一次手法として理解できると主張します。
実際、指数移動平均をオフにすると、各方法は特定の基準の下での最急降下と同等になります。
この観察を一般化することで、アルゴリズムをトレーニングするための新しい設計空間を図示します。
ネットワーク内でテンソルが果たす役割に基づいて、異なる演算子ノルムを異なるテンソルに割り当てる必要があります。
たとえば、線形層と埋め込み層は $\mathbb{R}^{m\times n}$ という同じ重み空間を持つことができますが、これらの層は異なる役割を果たし、異なるノルムを割り当てる必要があります。
私たちは、ニューラル アーキテクチャを注意深く計測するというこのアイデアが、より安定してスケーラブルで、実際に高速なトレーニングにつながることを期待しています。

要約(オリジナル)

Deep learning optimizers are often motivated through a mix of convex and approximate second-order theory. We select three such methods — Adam, Shampoo and Prodigy — and argue that each method can instead be understood as a squarely first-order method without convexity assumptions. In fact, after switching off exponential moving averages, each method is equivalent to steepest descent under a particular norm. By generalizing this observation, we chart a new design space for training algorithms. Different operator norms should be assigned to different tensors based on the role that the tensor plays within the network. For example, while linear and embedding layers may have the same weight space of $\mathbb{R}^{m\times n}$, these layers play different roles and should be assigned different norms. We hope that this idea of carefully metrizing the neural architecture might lead to more stable, scalable and indeed faster training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google