UPDP: A Unified Progressive Depth Pruner for CNN and Vision Transformer

要約

ネットワーク チャネルを削減する従来のチャネルごとの枝刈り手法では、深さごとの畳み込み層や一般的な反転残差ブロックなどの特定の効率的なモジュールを備えた効率的な CNN モデルを効果的に枝刈りするのが困難でした。
ネットワークの深さを減らすことによる以前の深さの枝刈り方法は、いくつかの正規化層が存在するため、一部の効率的なモデルの枝刈りには適していません。
さらに、アクティベーション レイヤーを直接削除してサブネットを微調整すると、元のモデルの重みが破損し、プルーニングされたモデルが高いパフォーマンスを達成できなくなります。
これらの問題に対処するために、効率的なモデルのための新しい深さ枝刈り方法を提案します。
私たちのアプローチは、サブネットに対する新しいブロック プルーニング戦略と進歩的なトレーニング方法を提案します。
さらに、枝刈り手法をビジョン トランスフォーマー モデルにも拡張します。
実験結果は、私たちの方法がさまざまな枝刈り構成にわたって既存の深さ枝刈り手法よりも一貫して優れていることを示しています。
ConvNeXtV1 に適用したメソッドにより、3 つの枝刈りされた ConvNeXtV1 モデルが得られました。これは、同等の推論パフォーマンスを持つほとんどの SOTA 効率モデルを上回っています。
私たちの手法は、ビジョン トランスフォーマー モデルで最先端の枝刈りパフォーマンスも実現します。

要約(オリジナル)

Traditional channel-wise pruning methods by reducing network channels struggle to effectively prune efficient CNN models with depth-wise convolutional layers and certain efficient modules, such as popular inverted residual blocks. Prior depth pruning methods by reducing network depths are not suitable for pruning some efficient models due to the existence of some normalization layers. Moreover, finetuning subnet by directly removing activation layers would corrupt the original model weights, hindering the pruned model from achieving high performance. To address these issues, we propose a novel depth pruning method for efficient models. Our approach proposes a novel block pruning strategy and progressive training method for the subnet. Additionally, we extend our pruning method to vision transformer models. Experimental results demonstrate that our method consistently outperforms existing depth pruning methods across various pruning configurations. We obtained three pruned ConvNeXtV1 models with our method applying on ConvNeXtV1, which surpass most SOTA efficient models with comparable inference performance. Our method also achieves state-of-the-art pruning performance on the vision transformer model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google