Enhancing Accuracy in Deep Learning Using Random Matrix Theory

要約

私たちは、DNN パラメーター (重み) の数を減らすレイヤー プルーニングに焦点を当て、ディープ ニューラル ネットワーク (DNN) のトレーニングにおけるランダム行列理論 (RMT) の応用を探ります。
私たちの数値結果は、この枝刈りが DNN と CNN の精度を低下させずにパラメータの大幅な削減につながることを示しています。
さらに、完全に接続された DNN をプルーニングすると、実際に精度が向上し、ランダムな初期化の分散が減少します。
私たちの数値は、この精度の向上が損失状況の単純化によるものであることを示しています。
次に、RMT ベースの枝刈り定理を証明することで、これらの数値結果の厳密な数学的裏付けを提供します。
私たちの結果は、より効率的で正確な深層学習モデルを作成するための RMT の実際の応用に関する貴重な洞察を提供します。

要約(オリジナル)

We explore the applications of random matrix theory (RMT) in the training of deep neural networks (DNNs), focusing on layer pruning that is reducing the number of DNN parameters (weights). Our numerical results show that this pruning leads to a drastic reduction of parameters while not reducing the accuracy of DNNs and CNNs. Moreover, pruning the fully connected DNNs actually increases the accuracy and decreases the variance for random initializations. Our numerics indicate that this enhancement in accuracy is due to the simplification of the loss landscape. We next provide rigorous mathematical underpinning of these numerical results by proving the RMT-based Pruning Theorem. Our results offer valuable insights into the practical application of RMT for the creation of more efficient and accurate deep-learning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google