An Exact Kernel Equivalence for Finite Classification Models

要約

カーネル マシンとして勾配降下法でトレーニングされた有限サイズのパラメトリック分類モデルの最初の正確な表現を導出することで、ニューラル ネットワークとカーネル手法の間の等価性を調査します。
私たちの正確な表現をよく知られているニューラル タンジェント カーネル (NTK) と比較し、NTK およびその他の非正確なパス カーネル公式と比較した近似誤差について説明します。
私たちは、カーネルが現実的なネットワークに対して機械精度まで計算できることを実験的に示します。
私たちは、この正確なカーネルを使用して、私たちの理論的貢献が、ニューラル ネットワークによって行われる予測、特にニューラル ネットワークが一般化する方法について有用な洞察を提供できることを示します。

要約(オリジナル)

We explore the equivalence between neural networks and kernel methods by deriving the first exact representation of any finite-size parametric classification model trained with gradient descent as a kernel machine. We compare our exact representation to the well-known Neural Tangent Kernel (NTK) and discuss approximation error relative to the NTK and other non-exact path kernel formulations. We experimentally demonstrate that the kernel can be computed for realistic networks up to machine precision. We use this exact kernel to show that our theoretical contribution can provide useful insights into the predictions made by neural networks, particularly the way in which they generalize.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google