PR-DARTS: Pruning-Based Differentiable Architecture Search

要約

畳み込みニューラルネットワーク（CNN）のエッジデバイスへの展開は、要求性能と利用可能な処理能力との間に大きなギャップがあることが障害となっています。最近の研究では、CNNの計算オーバーヘッドを削減するためのネットワーク刈り込み手法の開発が大きく前進していますが、特に刈り込み比率が高い場合には、かなりの精度低下が残っています。そこで我々は、刈り込まれていないネットワークに対して設計されたアーキテクチャが、刈り込まれたネットワークに対して有効でない可能性に疑問を持ち、新しい探索空間と新しい探索目的を定義して刈り込み手法のためのアーキテクチャを探索することを提案する。また、枝刈りされたネットワークの汎化性を向上させるために、2つの新規なPrunedConvおよびPrunedLinear操作を提案する。これらの操作は、刈り込みネットワークの目的関数を正則化することにより、不安定な勾配の問題を緩和するものである。提案した探索目的により、刈り込まれた重み要素に関するアーキテクチャパラメータを学習することができる。定量的な分析により、我々の探索したアーキテクチャはCIFAR-10とImageNetにおいて、最先端の刈り込みネットワークに用いられているアーキテクチャを凌駕することが実証された。ハードウェアの効果としては、PR-DARTSはMobileNet-v2の精度を73.44%から81.35%に向上させ（+7.91%の改善）、3.87$\times$ 速く動作することを示した。

要約(オリジナル)

The deployment of Convolutional Neural Networks (CNNs) on edge devices is hindered by the substantial gap between performance requirements and available processing power. While recent research has made large strides in developing network pruning methods for reducing the computing overhead of CNNs, there remains considerable accuracy loss, especially at high pruning ratios. Questioning that the architectures designed for non-pruned networks might not be effective for pruned networks, we propose to search architectures for pruning methods by defining a new search space and a novel search objective. To improve the generalization of the pruned networks, we propose two novel PrunedConv and PrunedLinear operations. Specifically, these operations mitigate the problem of unstable gradients by regularizing the objective function of the pruned networks. The proposed search objective enables us to train architecture parameters regarding the pruned weight elements. Quantitative analyses demonstrate that our searched architectures outperform those used in the state-of-the-art pruning networks on CIFAR-10 and ImageNet. In terms of hardware effectiveness, PR-DARTS increases MobileNet-v2’s accuracy from 73.44% to 81.35% (+7.91% improvement) and runs 3.87$\times$ faster.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL