Pruning a neural network using Bayesian inference

要約

ニューラルネットワークの刈り込みは、大規模なニューラルネットワークの計算量とメモリ需要の削減を目的とした非常に効果的な手法である。この研究論文では、ベイズ推論を利用したニューラルネットワークの刈り込みに対する新しいアプローチを提示する。提案する手法は、刈り込み前と刈り込み後のニューラルネットワークの事後確率を活用し、ベイズ係数の計算を可能にする。計算されたベイズ因子は反復刈り込みを導く。複数のベンチマークを用いた総合的な評価により、我々の手法が、競争力のある精度を維持しつつ、望ましいレベルのスパース性を達成することを実証する。

要約(オリジナル)

Neural network pruning is a highly effective technique aimed at reducing the computational and memory demands of large neural networks. In this research paper, we present a novel approach to pruning neural networks utilizing Bayesian inference, which can seamlessly integrate into the training procedure. Our proposed method leverages the posterior probabilities of the neural network prior to and following pruning, enabling the calculation of Bayes factors. The calculated Bayes factors guide the iterative pruning. Through comprehensive evaluations conducted on multiple benchmarks, we demonstrate that our method achieves desired levels of sparsity while maintaining competitive accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL