Network Pruning Spaces

要約

タイトル：ネットワークプルーニングスペース
要約：

– ネットワークプルーニング技術には、重みプルーニングやフィルター プルーニングなどがあり、これらの技術は、最新のニューラルネットワークが重大な性能低下なしに加速されることを明らかにしている。
– この研究では、フィルタプルーニングに焦点を当て、オフシェルフのディープラーニングライブラリとハードウェアでも高速な推論を可能にする。
– 我々は、サブネットワークアーキテクチャの集団をパラメータ化する「ネットワークプルーニングスペース」という概念を提案する。
– この概念に基づいて、異なるプルーニングレジメンで精度の損失が最小となるサブネットワークの構造的側面を探索し、サブネットワーク分布を比較することにより一連の観察結果に至る。
– 私たちは、経験的な研究によって原始的なネットワークの設計に関係する最適な FLOPs-to-parameter-bucket 比率が存在することを推定し、統計的に、勝利するサブネットワークの構造は、このレジメンでほぼ最適な比率を保証すると推測する。
– これらの推測に基づいて、良好なサブネットワークアーキテクチャを検索するコストを削減するために、初期のプルーニングスペースをさらに改良する。
– ImageNet上での実験結果は、私たちが見つけたサブネットワークが、可比性のある FLOPs 下での最新のプルーニング手法よりも優れていることを示している。

要約(オリジナル)

Network pruning techniques, including weight pruning and filter pruning, reveal that most state-of-the-art neural networks can be accelerated without a significant performance drop. This work focuses on filter pruning which enables accelerated inference with any off-the-shelf deep learning library and hardware. We propose the concept of \emph{network pruning spaces} that parametrize populations of subnetwork architectures. Based on this concept, we explore the structure aspect of subnetworks that result in minimal loss of accuracy in different pruning regimes and arrive at a series of observations by comparing subnetwork distributions. We conjecture through empirical studies that there exists an optimal FLOPs-to-parameter-bucket ratio related to the design of original network in a pruning regime. Statistically, the structure of a winning subnetwork guarantees an approximately optimal ratio in this regime. Upon our conjectures, we further refine the initial pruning space to reduce the cost of searching a good subnetwork architecture. Our experimental results on ImageNet show that the subnetwork we found is superior to those from the state-of-the-art pruning methods under comparable FLOPs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI