Neural Network Pruning by Gradient Descent

要約

深層学習モデルのパラメーターの急速な増加により、コストが大幅に増加し、計算効率とモデルの解釈可能性が困難になっています。
この論文では、Gumbel-Softmax 手法を組み込んだ、新しくて簡単なニューラル ネットワーク プルーニング フレームワークを紹介します。
このフレームワークにより、確率的勾配降下法を使用したエンドツーエンドのプロセスでネットワークの重みとトポロジを同時に最適化できます。
経験的な結果は、元のネットワーク パラメータのわずか 0.15\% で MNIST データセット上で高い精度を維持する、その卓越した圧縮能力を示しています。
さらに、私たちのフレームワークは、プルーニングされたネットワークから特徴の重要性を直接簡単に抽出できるだけでなく、特徴の対称性と特徴から結果への情報伝播の経路の視覚化を可能にすることによって、ニューラル ネットワークの解釈可能性を高めます。
枝刈り戦略は深層学習を通じて学習されますが、驚くほど直感的で理解しやすく、主要な代表的な特徴を選択し、データ パターンを活用して極端な疎枝刈りを実現することに重点を置いています。
私たちは、私たちの手法が深層学習の枝刈りと解釈可能な機械学習システムの作成に有望な新しい道を開くと信じています。

要約(オリジナル)

The rapid increase in the parameters of deep learning models has led to significant costs, challenging computational efficiency and model interpretability. In this paper, we introduce a novel and straightforward neural network pruning framework that incorporates the Gumbel-Softmax technique. This framework enables the simultaneous optimization of a network’s weights and topology in an end-to-end process using stochastic gradient descent. Empirical results demonstrate its exceptional compression capability, maintaining high accuracy on the MNIST dataset with only 0.15\% of the original network parameters. Moreover, our framework enhances neural network interpretability, not only by allowing easy extraction of feature importance directly from the pruned network but also by enabling visualization of feature symmetry and the pathways of information propagation from features to outcomes. Although the pruning strategy is learned through deep learning, it is surprisingly intuitive and understandable, focusing on selecting key representative features and exploiting data patterns to achieve extreme sparse pruning. We believe our method opens a promising new avenue for deep learning pruning and the creation of interpretable machine learning systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google