NTK-SAP: Improving neural network pruning by aligning training dynamics

要約

タイトル：NTK-SAP：トレーニングダイナミクスを整列させることでニューラルネットワークのプルーニングを改善する

要約：

– プルーニングは、トレーニング時間とメモリの削減の可能性があるため、トレーニング前にニューラルネットワークを刈り込むことが注目を集めています。
– メトリックに基づいて接続をプルーニングする人気のある方法がありますが、どのメトリックが最適な選択肢であるかは完全に明確ではありません。
– ニューラルタンジェントカーネル(NTK)理論の最近の進歩は、十分に大きなニューラルネットワークのトレーニングダイナミクスがNTKのスペクトルと密接に関連していることを示唆しています。
– この発見に着目して、NTKのスペクトルに最も影響を与えない接続を刈り込むことを提案します。
– この方法は、NTKスペクトルを維持するのに役立ち、トレーニングダイナミクスを密なニューラルネットワークと整列させるのに役立つ可能性があります。
– ただし、ある初期点に対応する固定重量NTKは、トレーニングフェーズ中の後の反復に対応するNTKと非常に異なる場合があるため、1つの可能な問題があります。
– このため、ランダムな重みの複数の実現値をサンプリングしてNTKスペクトルを推定することを提案します。
– さらに、我々のアプローチは、大部分の既存の方法が重量依存であるのに対して重量に対して不可知であるため、ウェイトアグノスティックです。
– また、固定重量NTKを計算するためにランダム入力を使用するため、我々の方法はデータアグノスティックでもあります。
– 我々は、ニューラルタンジェントカーネルスペクトルアウェアプルーニング(NTK-SAP)という名前を付けた我々の先見のあるプルーニングアルゴリズムを提案します。
– 実証的に、我々の方法は複数のデータセットにおいて、すべてのベースラインよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Pruning neural networks before training has received increasing interest due to its potential to reduce training time and memory. One popular method is to prune the connections based on a certain metric, but it is not entirely clear what metric is the best choice. Recent advances in neural tangent kernel (NTK) theory suggest that the training dynamics of large enough neural networks is closely related to the spectrum of the NTK. Motivated by this finding, we propose to prune the connections that have the least influence on the spectrum of the NTK. This method can help maintain the NTK spectrum, which may help align the training dynamics to that of its dense counterpart. However, one possible issue is that the fixed-weight-NTK corresponding to a given initial point can be very different from the NTK corresponding to later iterates during the training phase. We further propose to sample multiple realizations of random weights to estimate the NTK spectrum. Note that our approach is weight-agnostic, which is different from most existing methods that are weight-dependent. In addition, we use random inputs to compute the fixed-weight-NTK, making our method data-agnostic as well. We name our foresight pruning algorithm Neural Tangent Kernel Spectrum-Aware Pruning (NTK-SAP). Empirically, our method achieves better performance than all baselines on multiple datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI