Neural network relief: a pruning algorithm based on neural activity

要約

現在のディープニューラルネットワーク（DNN）はパラメーターが多すぎて、各タスクの推論中にほとんどのニューロン接続を使用します。
ただし、人間の脳は、さまざまなタスクに特化した領域を開発し、そのニューロン接続のごく一部で推論を実行します。
重要でない接続を非アクティブ化し、DNNの過剰パラメーター化に取り組み、発火パターンを変調する単純な重要度スコアメトリックを導入する反復プルーニング戦略を提案します。
目的は、特定のタスクを同等の精度で解決できる最小数の接続、つまり、より単純なサブネットワークを見つけることです。
MNISTのLeNetアーキテクチャで同等のパフォーマンスを実現し、CIFAR-10/100およびTiny-ImageNetのVGGおよびResNetアーキテクチャの最先端のアルゴリズムよりも大幅に高いパラメーター圧縮を実現します。
私たちのアプローチは、考慮されている2つの異なるオプティマイザー（AdamとSGD）でもうまく機能します。
このアルゴリズムは、現在のハードウェアおよびソフトウェアの実装を検討する際にFLOPを最小化するようには設計されていませんが、最新技術と比較すると合理的に機能します。

要約(オリジナル)

Current deep neural networks (DNNs) are overparameterized and use most of their neuronal connections during inference for each task. The human brain, however, developed specialized regions for different tasks and performs inference with a small fraction of its neuronal connections. We propose an iterative pruning strategy introducing a simple importance-score metric that deactivates unimportant connections, tackling overparameterization in DNNs and modulating the firing patterns. The aim is to find the smallest number of connections that is still capable of solving a given task with comparable accuracy, i.e. a simpler subnetwork. We achieve comparable performance for LeNet architectures on MNIST, and significantly higher parameter compression than state-of-the-art algorithms for VGG and ResNet architectures on CIFAR-10/100 and Tiny-ImageNet. Our approach also performs well for the two different optimizers considered — Adam and SGD. The algorithm is not designed to minimize FLOPs when considering current hardware and software implementations, although it performs reasonably when compared to the state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google