Structured Pruning for Deep Convolutional Neural Networks: A survey

要約

深い畳み込みニューラル ネットワーク (CNN) の優れたパフォーマンスは、一般に、そのアーキテクチャが深くて広いことに起因すると考えられており、これにはかなりの計算コストがかかる可能性があります。
したがって、ニューラル ネットワークの剪定は、ストレージと計算のコストを効果的に削減するため、関心を集めています。
構造化されていないモデルになる重みの刈り込みとは対照的に、構造化された刈り込みは、ハードウェアの実装に適したモデルを生成することにより、現実的な高速化の利点を提供します。
構造化された剪定の特別な要件により、多くの新しい課題が発見され、革新的なソリューションが開発されました。
この記事では、ディープ CNN の構造化プルーニングに向けた最近の進歩について概説します。
フィルター ランキング手法、正則化手法、動的実行、ニューラル アーキテクチャ検索、宝くじ仮説、および枝刈りのアプリケーションに関して、最先端の構造化枝刈り手法を要約して比較します。
構造化された枝刈りアルゴリズムについて説明する一方で、構造化されていない枝刈りアルゴリズムを簡単に紹介して、それらの違いを強調します。
さらに、構造化剪定の分野における潜在的な研究機会についての洞察を提供します。
ニューラル ネットワークのプルーニング ペーパーの精選されたリストは、https://github.com/he-y/Awesome-Pruning にあります。

要約(オリジナル)

The remarkable performance of deep Convolutional neural networks (CNNs) is generally attributed to their deeper and wider architectures, which can come with significant computational costs. Pruning neural networks has thus gained interest since it effectively lowers storage and computational costs. In contrast to weight pruning, which results in unstructured models, structured pruning provides the benefit of realistic acceleration by producing models that are friendly to hardware implementation. The special requirements of structured pruning have led to the discovery of numerous new challenges and the development of innovative solutions. This article surveys the recent progress towards structured pruning of deep CNNs. We summarize and compare the state-of-the-art structured pruning techniques with respect to filter ranking methods, regularization methods, dynamic execution, neural architecture search, the lottery ticket hypothesis, and the applications of pruning. While discussing structured pruning algorithms, we briefly introduce the unstructured pruning counterpart to emphasize their differences. Furthermore, we provide insights into potential research opportunities in the field of structured pruning. A curated list of neural network pruning papers can be found at https://github.com/he-y/Awesome-Pruning

arxiv情報

提供元, 利用サービス

arxiv.jp, Google