SR-init: An interpretable layer pruning method

要約

多くの分野でディープ ニューラル ネットワーク (DNN) が普及しているにもかかわらず、計算オーバーヘッドが高いため、リソースに制約のあるデバイスに最先端のモデルを展開することは依然として困難です。
モデルの刈り込みは、前述の課題に対する実行可能なソリューションを提供します。
ただし、既存の剪定基準の解釈は常に見落とされています。
この問題に対処するために、確率的再初期化を調査することにより、新しいレイヤープルーニング方法を提案します。
私たちの SR-init メソッドは、層パラメーターの確率的再初期化による精度低下がさまざまな層で異なるという発見に触発されています。
この観察に基づいて、層の刈り込み基準を考え出します。つまり、確率的再初期化の影響を受けにくい (精度の低下が少ない) 層は、モデルへの寄与が少なく、許容できる損失で刈り取ることができます。
その後、機能の視覚化を介してSR-initの解釈可能性を実験的に検証します。
視覚的な説明は、SR-init が理論的に実現可能であることを示しているため、最先端の方法と比較して、その実現可能性をさらに評価します。
CIFAR-10 および CIFAR-100 の ResNet56 に関しては、SR-init はパラメーターの大幅な削減 (63.98% および 37.71%) を達成し、トップ 1 の精度の低下は無視できます (-0.56% および 0.8%)。
ImageNet で ResNet50 を使用すると、パラメーターの 39.29% を削除することで 15.59% の FLOP 削減を達成し、トップ 1 の精度は 0.6% 低下するだけです。
コードは https://github.com/huitang-zjut/SR-init で入手できます。

要約(オリジナル)

Despite the popularization of deep neural networks (DNNs) in many fields, it is still challenging to deploy state-of-the-art models to resource-constrained devices due to high computational overhead. Model pruning provides a feasible solution to the aforementioned challenges. However, the interpretation of existing pruning criteria is always overlooked. To counter this issue, we propose a novel layer pruning method by exploring the Stochastic Re-initialization. Our SR-init method is inspired by the discovery that the accuracy drop due to stochastic re-initialization of layer parameters differs in various layers. On the basis of this observation, we come up with a layer pruning criterion, i.e., those layers that are not sensitive to stochastic re-initialization (low accuracy drop) produce less contribution to the model and could be pruned with acceptable loss. Afterward, we experimentally verify the interpretability of SR-init via feature visualization. The visual explanation demonstrates that SR-init is theoretically feasible, thus we compare it with state-of-the-art methods to further evaluate its practicability. As for ResNet56 on CIFAR-10 and CIFAR-100, SR-init achieves a great reduction in parameters (63.98% and 37.71%) with an ignorable drop in top-1 accuracy (-0.56% and 0.8%). With ResNet50 on ImageNet, we achieve a 15.59% FLOPs reduction by removing 39.29% of the parameters, with only a drop of 0.6% in top-1 accuracy. Our code is available at https://github.com/huitang-zjut/SR-init.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google