Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs

要約

最近、ディープ ニューラル ネットワークの理論分析は、次の 2 つの方向に広く焦点を当てています。 1) ニューラル タンジェントを介して、無限の隠れ層幅と無限に小さい学習率 (勾配フローとも呼ばれる) の制限における SGD によるニューラル ネットワーク トレーニングへの洞察を提供する
カーネル (NTK)、2) ReLU ネットワークの円錐制約凸再定式化による正規化されたトレーニング目標の全体的な最適化。
後者の研究方向は、ゲート型 ReLU ネットワークと呼ばれる ReLU ネットワークの代替定式化も生み出しました。これは、効率的な制約のない凸型プログラムを通じてグローバルに最適化できます。
この研究では、このゲート ReLU ネットワークの凸プログラムを、重み付きデータ マスキング特徴マップを備えたマルチ カーネル学習 (MKL) モデルとして解釈し、NTK への接続を確立します。
具体的には、学習ターゲットに依存しないマスク重みの特定の選択では、このカーネルがトレーニング データ上のゲート ReLU ネットワークの NTK と同等であることを示します。
このターゲットへの依存性の欠如の結果、NTK はトレーニング セット上で最適な MKL カーネルよりも優れたパフォーマンスを発揮できなくなります。
反復再重み付けを使用することで、NTK によって引き起こされる重みを改善して、ゲート付き ReLU ネットワークの正確な凸再定式化の解と同等の最適な MKL カーネルを取得します。
また、理論を裏付けるいくつかの数値シミュレーションも提供します。
さらに、グループ ラッソの一貫性結果を介して、結果として得られる最適なカーネルの予測誤差の分析を提供します。

要約(オリジナル)

Recently, theoretical analyses of deep neural networks have broadly focused on two directions: 1) Providing insight into neural network training by SGD in the limit of infinite hidden-layer width and infinitesimally small learning rate (also known as gradient flow) via the Neural Tangent Kernel (NTK), and 2) Globally optimizing the regularized training objective via cone-constrained convex reformulations of ReLU networks. The latter research direction also yielded an alternative formulation of the ReLU network, called a gated ReLU network, that is globally optimizable via efficient unconstrained convex programs. In this work, we interpret the convex program for this gated ReLU network as a Multiple Kernel Learning (MKL) model with a weighted data masking feature map and establish a connection to the NTK. Specifically, we show that for a particular choice of mask weights that do not depend on the learning targets, this kernel is equivalent to the NTK of the gated ReLU network on the training data. A consequence of this lack of dependence on the targets is that the NTK cannot perform better than the optimal MKL kernel on the training set. By using iterative reweighting, we improve the weights induced by the NTK to obtain the optimal MKL kernel which is equivalent to the solution of the exact convex reformulation of the gated ReLU network. We also provide several numerical simulations corroborating our theory. Additionally, we provide an analysis of the prediction error of the resulting optimal kernel via consistency results for the group lasso.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google