Pruning By Explaining Revisited: Optimizing Attribution Methods to Prune CNNs and Transformers

要約

より複雑な問題を解決するために、ディープ ニューラル ネットワークは数十億のパラメーターに拡張され、膨大な計算コストが発生します。
計算要件を軽減し、効率を向上させる効果的なアプローチは、パラメータが過剰になりがちなネットワークの不必要なコンポーネントを取り除くことです。
これまでの研究では、eXplainable AI 分野のアトリビューション手法が、関連性の低いネットワーク コンポーネントを数回の方法で抽出して除去する効果的な手段として機能することが示されています。
私たちは、プルーニングのタスクのためにアトリビューションメソッドのハイパーパラメータを明示的に最適化することを提案することで現在の状態を拡張し、さらにトランスフォーマーベースのネットワークを分析に含めます。
私たちのアプローチは、以前の研究と比較して、大規模なトランスフォーマーおよび畳み込みアーキテクチャ (VGG、ResNet、ViT) のモデル圧縮率を高め、同時に ImageNet 分類タスクで高いパフォーマンスを達成します。
ここで、私たちの実験は、畳み込みニューラル ネットワークと比較して、トランスフォーマーは高度なオーバーパラメータ化を持っていることを示しています。
コードは $\href{https://github.com/erfanhatefi/Pruning-by-eXplaining-in-PyTorch}{\text{this https link}}$ で入手できます。

要約(オリジナル)

To solve ever more complex problems, Deep Neural Networks are scaled to billions of parameters, leading to huge computational costs. An effective approach to reduce computational requirements and increase efficiency is to prune unnecessary components of these often over-parameterized networks. Previous work has shown that attribution methods from the field of eXplainable AI serve as effective means to extract and prune the least relevant network components in a few-shot fashion. We extend the current state by proposing to explicitly optimize hyperparameters of attribution methods for the task of pruning, and further include transformer-based networks in our analysis. Our approach yields higher model compression rates of large transformer- and convolutional architectures (VGG, ResNet, ViT) compared to previous works, while still attaining high performance on ImageNet classification tasks. Here, our experiments indicate that transformers have a higher degree of over-parameterization compared to convolutional neural networks. Code is available at $\href{https://github.com/erfanhatefi/Pruning-by-eXplaining-in-PyTorch}{\text{this https link}}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google