Keep the Momentum: Conservation Laws beyond Euclidean Gradient Flows

要約

保存則は、ユークリッド勾配流れダイナミクス、特に線形または ReLU ニューラル ネットワーク トレーニングのコンテキストで十分に確立されています。
しかし、非ユークリッド幾何学と運動量ベースの力学の存在と原理は、ほとんど知られていないままです。
この論文では、この一般的な状況における「すべての」保存則を特徴づけます。
勾配流れの場合とはまったく対照的に、運動量に基づく力学の保存則が時間依存性を示すことを証明します。
さらに、勾配流から運動量ダイナミクスに移行するときに「保存損失」が観察されることがよくあります。
具体的には、線形ネットワークの場合、私たちのフレームワークにより、十分に過剰なパラメーター化された領域を除いて、勾配流の場合よりも数が少ないすべての運動量保存則を特定することができます。
ReLU ネットワークでは保存則は残りません。
この現象は、非ユークリッド計量にも現れます。
非負行列因数分解 (NMF) の場合: すべての保存則は勾配流のコンテキストで決定できますが、運動量の場合にはどれも持続しません。

要約(オリジナル)

Conservation laws are well-established in the context of Euclidean gradient flow dynamics, notably for linear or ReLU neural network training. Yet, their existence and principles for non-Euclidean geometries and momentum-based dynamics remain largely unknown. In this paper, we characterize ‘all’ conservation laws in this general setting. In stark contrast to the case of gradient flows, we prove that the conservation laws for momentum-based dynamics exhibit temporal dependence. Additionally, we often observe a ‘conservation loss’ when transitioning from gradient flow to momentum dynamics. Specifically, for linear networks, our framework allows us to identify all momentum conservation laws, which are less numerous than in the gradient flow case except in sufficiently over-parameterized regimes. With ReLU networks, no conservation law remains. This phenomenon also manifests in non-Euclidean metrics, used e.g. for Nonnegative Matrix Factorization (NMF): all conservation laws can be determined in the gradient flow context, yet none persists in the momentum case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google