Transformative or Conservative? Conservation laws for ResNets and Transformers

要約

グラジエントフロートレーニングのダイナミクスの保全法は、（ほとんど浅い）reluおよび線形ネットワークについてよく理解されていますが、彼らの研究は、より実用的なアーキテクチャのためにほとんど説明されていません。
このペーパーは、現代の建築の保全法を導き出して分析することにより、このギャップを橋渡しします。
このため、まず、畳み込みの有無にかかわらず、relu（または線形）浅いネットワークなどの基本的なビルディングブロックが保全法を簡単に表現し、既知の法則を容易に表現していることを示します。
単一の注意層の場合、すべての保全法も完全に説明し、残留ブロックにはスキップ接続なしで同じブロックと同じ保全法があることを示します。
次に、パラメーターのサブセットのみに依存する保全法の概念を紹介します（たとえば、連続した層、残留ブロック、または注意層に対応する）。
このような法則の特性評価は、単独で対応するビルディングブロックの分析に還元できることを実証します。
最後に、特に確率的勾配降下（SGD）のコンテキストで、連続勾配流領域で最初に確立されたこれらの新たに発見された保全原理が、離散最適化ダイナミクスの下でどのように持続するかを調べます。

要約(オリジナル)

While conservation laws in gradient flow training dynamics are well understood for (mostly shallow) ReLU and linear networks, their study remains largely unexplored for more practical architectures. This paper bridges this gap by deriving and analyzing conservation laws for modern architectures, with a focus on convolutional ResNets and Transformer networks. For this, we first show that basic building blocks such as ReLU (or linear) shallow networks, with or without convolution, have easily expressed conservation laws, and no more than the known ones. In the case of a single attention layer, we also completely describe all conservation laws, and we show that residual blocks have the same conservation laws as the same block without a skip connection. We then introduce the notion of conservation laws that depend only on a subset of parameters (corresponding e.g. to a pair of consecutive layers, to a residual block, or to an attention layer). We demonstrate that the characterization of such laws can be reduced to the analysis of the corresponding building block in isolation. Finally, we examine how these newly discovered conservation principles, initially established in the continuous gradient flow regime, persist under discrete optimization dynamics, particularly in the context of Stochastic Gradient Descent (SGD).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google