Small Contributions, Small Networks: Efficient Neural Network Pruning Based on Relative Importance

要約

最近の進歩により、ニューラル ネットワークは前例のないサイズに拡張され、幅広いタスクにわたって驚くべきパフォーマンスが達成されました。
ただし、リソースに制約のあるデバイスにこれらの大規模モデルを展開すると、大量のストレージとコンピューティング要件が発生するため、重大な課題が生じます。
ニューラル ネットワーク プルーニングは、モデルのサイズと複雑さを軽減することでこれらの制限を軽減する効果的な手法として登場しました。
この論文では、情報理論と統計分析に基づいた、活性化統計に基づく直感的で解釈可能な枝刈り手法を紹介します。
私たちのアプローチは、ニューロン活性化の統計的特性を利用して、ニューロン出力への寄与を最小限に抑えた重みを特定して削除します。
具体的には、データセット全体にわたる重み寄与の分布を構築し、そのパラメーターを利用して枝刈りプロセスをガイドします。
さらに、枝刈り手法の有効性を高めるために追加の正則化項を組み込んだ枝刈りを意識したトレーニング戦略を提案します。
複数のデータセットとネットワーク アーキテクチャに関する広範な実験により、私たちの手法がいくつかのベースラインおよび最先端の枝刈り手法よりも一貫して優れていることが実証されました。

要約(オリジナル)

Recent advancements have scaled neural networks to unprecedented sizes, achieving remarkable performance across a wide range of tasks. However, deploying these large-scale models on resource-constrained devices poses significant challenges due to substantial storage and computational requirements. Neural network pruning has emerged as an effective technique to mitigate these limitations by reducing model size and complexity. In this paper, we introduce an intuitive and interpretable pruning method based on activation statistics, rooted in information theory and statistical analysis. Our approach leverages the statistical properties of neuron activations to identify and remove weights with minimal contributions to neuron outputs. Specifically, we build a distribution of weight contributions across the dataset and utilize its parameters to guide the pruning process. Furthermore, we propose a Pruning-aware Training strategy that incorporates an additional regularization term to enhance the effectiveness of our pruning method. Extensive experiments on multiple datasets and network architectures demonstrate that our method consistently outperforms several baseline and state-of-the-art pruning techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google