Isomorphic Pruning for Vision Models

要約

構造化刈り込みは、冗長なサブ構造を除去することによって、ディープニューラルネットワークの計算オーバヘッドを削減する。しかし、異なるサブ構造の相対的な重要性を評価することは、特に、自己注意、深さ方向の畳み込み、または残差接続のような新しいメカニズムやアーキテクチャを特徴とする高度な視覚モデルにおいて、依然として重要な課題である。これらの異種部分構造は、通常、分岐したパラメータスケール、重み分布、計算トポロジーを示し、重要性の比較にかなりの困難をもたらす。これを克服するために、我々は、Vision TransformerやCNNのような様々なネットワークアーキテクチャにおいて有効性を示し、異なるモデルサイズにおいて競争力のある性能を実現する、単純なアプローチであるIsomorphic Pruningを提示する。同型プルーニングは、事前に定義された重要度基準の下で評価された場合、異種のサブ構造は、類似した重要度パターンを示す同型構造とは対照的に、その重要度分布において著しい乖離を示すという観察に由来する。このことから、より信頼性の高い刈り込みのために、異なるタイプの部分構造に対して分離したランキングと比較を行うことを思いついた。ImageNet-1Kにおける我々の実証結果は、同型プルーニングがTransformerやCNN専用に設計されたいくつかのプルーニングベースラインを凌駕することを示している。例えば、既製のDeiT-Baseモデルをプルーニングすることで、DeiT-Tinyの精度を74.52%から77.50%に向上させた。また、ConvNext-Tinyでは、パラメータ数とメモリ使用量を減らしながら、パフォーマンスを82.06%から82.18%に向上させた。コードは୧⃛(๑⃙⃘⁼̴̀꒳⁼̴́๑⃙⃘)

要約(オリジナル)

Structured pruning reduces the computational overhead of deep neural networks by removing redundant sub-structures. However, assessing the relative importance of different sub-structures remains a significant challenge, particularly in advanced vision models featuring novel mechanisms and architectures like self-attention, depth-wise convolutions, or residual connections. These heterogeneous substructures usually exhibit diverged parameter scales, weight distributions, and computational topology, introducing considerable difficulty to importance comparison. To overcome this, we present Isomorphic Pruning, a simple approach that demonstrates effectiveness across a range of network architectures such as Vision Transformers and CNNs, and delivers competitive performance across different model sizes. Isomorphic Pruning originates from an observation that, when evaluated under a pre-defined importance criterion, heterogeneous sub-structures demonstrate significant divergence in their importance distribution, as opposed to isomorphic structures that present similar importance patterns. This inspires us to perform isolated ranking and comparison on different types of sub-structures for more reliable pruning. Our empirical results on ImageNet-1K demonstrate that Isomorphic Pruning surpasses several pruning baselines dedicatedly designed for Transformers or CNNs. For instance, we improve the accuracy of DeiT-Tiny from 74.52% to 77.50% by pruning an off-the-shelf DeiT-Base model. And for ConvNext-Tiny, we enhanced performance from 82.06% to 82.18%, while reducing the number of parameters and memory usage. Code is available at \url{https://github.com/VainF/Isomorphic-Pruning}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL