Maxwell’s Demon at Work: Efficient Pruning by Leveraging Saturation of Neurons

要約

ディープ ニューラル ネットワークをトレーニングする場合、$\textit{ニューロンの死滅}$ $\unicode{x2013}$ ユニットが非アクティブまたは飽和状態になり、トレーニング中に出力ゼロになる現象は、伝統的に望ましくないものとみなされてきました。
最適化の課題があり、継続的な学習シナリオにおける可塑性の損失に寄与します。
この論文では、スパース性と枝刈りに焦点を当てて、この現象を再評価します。
死にかけているニューロンに対するさまざまなハイパーパラメータ設定の影響を体系的に調査することで、シンプルでありながら効果的な構造化枝刈りアルゴリズムを促進する潜在的な可能性を明らかにします。
$\textit{Demon Pruning}$ (DemP) を紹介します。これは、死んだニューロンの増殖を制御し、ネットワークの疎性を動的に制御する手法です。
DemP は、アクティブなユニットへのノイズ注入と 1 サイクルのスケジュール正規化戦略の組み合わせによって実現され、そのシンプルさと幅広い適用性で際立っています。
CIFAR10 および ImageNet データセットの実験では、DemP が既存の構造化枝刈り技術を上回っており、優れた精度とスパース性のトレードオフとトレーニングの高速化を示していることが実証されています。
これらの発見は、効率的なモデルの圧縮と最適化のための貴重なリソースとして、死につつあるニューロンについての新しい視点を示唆しています。

要約(オリジナル)

When training deep neural networks, the phenomenon of $\textit{dying neurons}$ $\unicode{x2013}$units that become inactive or saturated, output zero during training$\unicode{x2013}$ has traditionally been viewed as undesirable, linked with optimization challenges, and contributing to plasticity loss in continual learning scenarios. In this paper, we reassess this phenomenon, focusing on sparsity and pruning. By systematically exploring the impact of various hyperparameter configurations on dying neurons, we unveil their potential to facilitate simple yet effective structured pruning algorithms. We introduce $\textit{Demon Pruning}$ (DemP), a method that controls the proliferation of dead neurons, dynamically leading to network sparsity. Achieved through a combination of noise injection on active units and a one-cycled schedule regularization strategy, DemP stands out for its simplicity and broad applicability. Experiments on CIFAR10 and ImageNet datasets demonstrate that DemP surpasses existing structured pruning techniques, showcasing superior accuracy-sparsity tradeoffs and training speedups. These findings suggest a novel perspective on dying neurons as a valuable resource for efficient model compression and optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google