Efficient CNNs via Passive Filter Pruning

要約

【タイトル】効率的なCNNに対しての非活性フィルター剪定

【要約】

– CNNは、多様なアプリケーションにおいて最先端の性能を発揮している。しかし、高い計算コンプレックス性とメモリストレージの要件により、資源を大量に必要とする。
– CNNにおける計算効率を実現するために、最近では、フィルターの重要度に基づいてCNN内の一部のフィルターを除外するフィルター剪定方法が用いられるようになってきている。フィルター剪定方法の多くは、フィルターの重要性を定量化するためにデータセットを用いる「アクティブ」な方法か、データに関わらずフィルターのエントリごとのノルムを計算して重要性を決定する「非アクティブ」な方法がある。
– 大量のフィルターを除去する高度な剪定比率下では、エントリごとのノルムを利用する方法は、ノードの出力を生成する際のフィルターの重要性を考慮しないため、相対的に小さいノルムのフィルターが除去され、性能が低下することがある。これを解消するために、本研究では、演算子ノルムを考慮してフィルターの寄与度に基づいてフィルターを剪定する非アクティブなフィルター剪定方法を提案する。提案された剪定方法はエントリごとのノルムベースのフィルター剪定方法よりも、さまざまなCNN構造に対してより一般的であることが示されている。
– 既存のアクティブフィルター剪定方法と比較して、提案された剪定方法は、フィルターの重要性を計算する速度が最低でも4.5倍速く、アクティブフィルター剪定方法と同等の性能を発揮することができる。
– 提案されたフィルター剪定方法の有効性は、VGGish、DCASE21_Net、VGG-16、およびResNet-50など、さまざまなCNNアーキテクチャを使用して、音声シーン分類および画像分類に対して評価されている。

要約(オリジナル)

Convolutional neural networks (CNNs) have shown state-of-the-art performance in various applications. However, CNNs are resource-hungry due to their requirement of high computational complexity and memory storage. Recent efforts toward achieving computational efficiency in CNNs involve filter pruning methods that eliminate some of the filters in CNNs based on the \enquote{importance} of the filters. The majority of existing filter pruning methods are either ‘active’, which use a dataset and generate feature maps to quantify filter importance, or ‘passive’, which compute filter importance using entry-wise norm of the filters without involving data. Under a high pruning ratio where large number of filters are to be pruned from the network, the entry-wise norm methods eliminate relatively smaller norm filters without considering the significance of the filters in producing the node output, resulting in degradation in the performance. To address this, we present a passive filter pruning method where the filters are pruned based on their contribution in producing output by considering the operator norm of the filters. The proposed pruning method generalizes better across various CNNs compared to that of the entry-wise norm-based pruning methods. In comparison to the existing active filter pruning methods, the proposed pruning method is at least 4.5 times faster in computing filter importance and is able to achieve similar performance compared to that of the active filter pruning methods. The efficacy of the proposed pruning method is evaluated on audio scene classification and image classification using various CNNs architecture such as VGGish, DCASE21_Net, VGG-16 and ResNet-50.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI