The Positivity of the Neural Tangent Kernel

要約

ニューラル タンジェント カーネル (NTK) は、広範なニューラル ネットワークの研究における基本概念として登場しました。
特に、NTK の正の性は、十分に広いネットワークの記憶能力、つまり、勾配降下法を介してトレーニングで損失がゼロに達する可能性に直接関係していることが知られています。
ここでは、以前の研究を改良し、あらゆる深さのフィードフォワード ネットワークの NTK の正性に関する鋭い結果を取得します。
より正確には、非多項式活性化関数については、NTK が厳密に正定値であることを示します。
私たちの結果は、独立して興味深い多項式関数の新しい特徴付けに基づいています。

要約(オリジナル)

The Neural Tangent Kernel (NTK) has emerged as a fundamental concept in the study of wide Neural Networks. In particular, it is known that the positivity of the NTK is directly related to the memorization capacity of sufficiently wide networks, i.e., to the possibility of reaching zero loss in training, via gradient descent. Here we will improve on previous works and obtain a sharp result concerning the positivity of the NTK of feedforward networks of any depth. More precisely, we will show that, for any non-polynomial activation function, the NTK is strictly positive definite. Our results are based on a novel characterization of polynomial functions which is of independent interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google