CRISP: Hybrid Structured Sparsity for Class-aware Model Pruning

要約

分類タスク用の機械学習パイプラインでは、多くの場合、幅広いクラスにわたって精度を達成するために汎用モデルをトレーニングします。
ただし、一般的なユーザーが定期的に遭遇するクラスは限られたものだけです。
この差異により、ユーザー固有のクラスに焦点を当ててモデルを調整することにより、計算効率を向上させる機会が得られます。
既存の作業は非構造化枝刈りに依存しており、モデル内にゼロ以外の値がランダムに分散されるため、ハードウェア アクセラレーションには適していません。
あるいは、チャネル プルーニングなどの構造化されたプルーニングを使用するアプローチもありますが、これらは最小限の圧縮のみを提供する傾向があり、モデルの精度の低下につながる可能性があります。
この研究では、細粒度の N:M 構造スパース性と粗粒度のブロック スパース性の両方を組み合わせたハイブリッド構造スパース性パターンを活用する新しい枝刈りフレームワークである CRISP を提案します。
私たちの枝刈り戦略は、勾配ベースのクラス認識顕著性スコアによって導かれ、ユーザー固有のクラスにとって重要な重みを保持できるようになります。
CRISP は、ImageNet および CIFAR-100 データセット上の ResNet-50、VGG-16、MobileNetV2 などの一般的なモデルに対して、最小限のメモリ消費で高精度を実現します。
さらに、CRISP は、同等の精度を維持しながら、既存のプルーニング手法と比較して、レイテンシとエネルギー消費を最大 14$\times$ 削減します。
私たちのコードは https://github.com/shivmgg/CRISP/ で入手できます。

要約(オリジナル)

Machine learning pipelines for classification tasks often train a universal model to achieve accuracy across a broad range of classes. However, a typical user encounters only a limited selection of classes regularly. This disparity provides an opportunity to enhance computational efficiency by tailoring models to focus on user-specific classes. Existing works rely on unstructured pruning, which introduces randomly distributed non-zero values in the model, making it unsuitable for hardware acceleration. Alternatively, some approaches employ structured pruning, such as channel pruning, but these tend to provide only minimal compression and may lead to reduced model accuracy. In this work, we propose CRISP, a novel pruning framework leveraging a hybrid structured sparsity pattern that combines both fine-grained N:M structured sparsity and coarse-grained block sparsity. Our pruning strategy is guided by a gradient-based class-aware saliency score, allowing us to retain weights crucial for user-specific classes. CRISP achieves high accuracy with minimal memory consumption for popular models like ResNet-50, VGG-16, and MobileNetV2 on ImageNet and CIFAR-100 datasets. Moreover, CRISP delivers up to 14$\times$ reduction in latency and energy consumption compared to existing pruning methods while maintaining comparable accuracy. Our code is available at https://github.com/shivmgg/CRISP/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google