Effective Layer Pruning Through Similarity Metric Perspective

要約

ディープ ニューラル ネットワークは、認知タスクを解決するための機械学習の主要なパラダイムです。
ただし、このようなモデルは計算オーバーヘッドが大きいため制限されており、適用性が制限され、この分野の進歩が妨げられています。
広範な調査により、これらのモデルから構造を枝刈りすることが、ネットワークの複雑さを軽減する簡単なアプローチであることが実証されました。
この方向では、ほとんどの取り組みはウェイトまたはフィルターを削除することに焦点を当てています。
優れた計算利得を促進するため、レイヤーの枝刈りにも研究が注がれています。
ただし、層の枝刈りは、多くの場合、高圧縮率でのネットワーク予測能力 (つまり、精度) に悪影響を及ぼします。
この研究では、枝刈り手法によって追求されるすべての基礎となる特性を満たす効果的な層枝刈り戦略を導入します。
私たちの方法では、枝刈りされていないモデルの表現と枝刈りの候補層の間の類似性を測定するために使用される Centered Kernel Alignment (CKA) メトリクスを使用して、層の相対的な重要性を推定します。
標準的なアーキテクチャとベンチマークでこの手法の有効性が確認され、既存のレイヤー プルーニング戦略やその他の最先端のプルーニング手法よりも優れたパフォーマンスを示します。
特に、予測能力を向上させながら、75% 以上の計算を削除します。
より高い圧縮レジームでは、私たちの方法は無視できる程度の精度の低下を示しますが、他の方法ではモデルの精度が著​​しく低下します。
これらの利点とは別に、プルーニングされたモデルは、敵対的なサンプルや分布外のサンプルに対する堅牢性を示します。

要約(オリジナル)

Deep neural networks have been the predominant paradigm in machine learning for solving cognitive tasks. Such models, however, are restricted by a high computational overhead, limiting their applicability and hindering advancements in the field. Extensive research demonstrated that pruning structures from these models is a straightforward approach to reducing network complexity. In this direction, most efforts focus on removing weights or filters. Studies have also been devoted to layer pruning as it promotes superior computational gains. However, layer pruning often hurts the network predictive ability (i.e., accuracy) at high compression rates. This work introduces an effective layer-pruning strategy that meets all underlying properties pursued by pruning methods. Our method estimates the relative importance of a layer using the Centered Kernel Alignment (CKA) metric, employed to measure the similarity between the representations of the unpruned model and a candidate layer for pruning. We confirm the effectiveness of our method on standard architectures and benchmarks, in which it outperforms existing layer-pruning strategies and other state-of-the-art pruning techniques. Particularly, we remove more than 75% of computation while improving predictive ability. At higher compression regimes, our method exhibits negligible accuracy drop, while other methods notably deteriorate model accuracy. Apart from these benefits, our pruned models exhibit robustness to adversarial and out-of-distribution samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google