WHC: Weighted Hybrid Criterion for Filter Pruning on Convolutional Neural Networks

要約

フィルター プルーニングは、畳み込みニューラル ネットワークの圧縮と高速化におけるその能力により、近年ますます注目を集めています。
最も重要でないフィルターを取り除くために、規範ベースおよび関係ベースの基準を含む、データに依存しないさまざまな基準が提案されました。
ただし、これらの最先端の基準ではフィルターの相違点を十分に考慮できず、パフォーマンスの低下につながる可能性があります。
このホワイトペーパーでは、最初に例を使用して関係ベースの基準の制限を分析し、次にデータに依存しない新しい基準である加重ハイブリッド基準 (WHC) を導入して、規範ベースと関係ベースの両方の基準の問題に取り組みます。
各フィルターの大きさとフィルター間の線形依存性を考慮に入れることで、WHC は最も冗長なフィルターを確実に認識し、ネットワークのパフォーマンスを大幅に低下させることなく安全にプルーニングできます。
単純なワンショット方式での広範な剪定実験により、提案された WHC の有効性が実証されました。
特に、WHC は ImageNet で ResNet-50 をプルーニングし、浮動小数点演算の 42% 以上を削減でき、トップ 5 の精度でパフォーマンスを低下させることはありません。

要約(オリジナル)

Filter pruning has attracted increasing attention in recent years for its capacity in compressing and accelerating convolutional neural networks. Various data-independent criteria, including norm-based and relationship-based ones, were proposed to prune the most unimportant filters. However, these state-of-the-art criteria fail to fully consider the dissimilarity of filters, and thus might lead to performance degradation. In this paper, we first analyze the limitation of relationship-based criteria with examples, and then introduce a new data-independent criterion, Weighted Hybrid Criterion (WHC), to tackle the problems of both norm-based and relationship-based criteria. By taking the magnitude of each filter and the linear dependence between filters into consideration, WHC can robustly recognize the most redundant filters, which can be safely pruned without introducing severe performance degradation to networks. Extensive pruning experiments in a simple one-shot manner demonstrate the effectiveness of the proposed WHC. In particular, WHC can prune ResNet-50 on ImageNet with more than 42% of floating point operations reduced without any performance loss in top-5 accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google