Automatic Complementary Separation Pruning Toward Lightweight CNNs

要約

この論文では、畳み込みニューラルネットワークのための新規で完全に自動化された剪定法である自動相補的分離剪定（ACSP）を紹介します。
ACSPは、構造化された剪定と活性化ベースの剪定の両方の強度を統合し、アクティベーションを活用して最も関連性の高いコンポーネントを識別および保持しながら、ニューロンやチャネルなどのコンポーネント全体を効率的に除去できるようにします。
私たちのアプローチは、すべてのクラスペアに関して各コンポーネントの分離能力をコードするグラフ空間を構築する監視された学習タスク専用に設計されています。
補完的な選択原則を採用し、クラスタリングアルゴリズムを利用することにより、ACSPは、選択したコンポーネントが多様で補完的な分離機能を維持し、冗長性を低減し、高いネットワークパフォーマンスを維持することにより保証されます。
このメソッドは、各レイヤーのコンポーネントの最適なサブセットを自動的に決定し、膝を発見するアルゴリズムを使用して、ユーザー定義の剪定ボリュームを必要とせずにパフォーマンスを保持する最小限のサブセットを選択します。
CIFAR-10、CIFAR-100、およびImagENET-1Kなどのデータセット全体で、VGG-16、ResNet-50、MobileNet-V2を含む複数のアーキテクチャに関する広範な実験は、ACSPが他の方法と比較して競合精度を達成しながら、コンピューターコストを大幅に削減することを示しています。
この完全に自動化されたアプローチは、スケーラビリティを向上させるだけでなく、手動でプルーニングボリュームを定義する必要性を排除することにより、実際の展開にACSPを特に実用的にします。

要約(オリジナル)

In this paper, we present Automatic Complementary Separation Pruning (ACSP), a novel and fully automated pruning method for convolutional neural networks. ACSP integrates the strengths of both structured pruning and activation-based pruning, enabling the efficient removal of entire components such as neurons and channels while leveraging activations to identify and retain the most relevant components. Our approach is designed specifically for supervised learning tasks, where we construct a graph space that encodes the separation capabilities of each component with respect to all class pairs. By employing complementary selection principles and utilizing a clustering algorithm, ACSP ensures that the selected components maintain diverse and complementary separation capabilities, reducing redundancy and maintaining high network performance. The method automatically determines the optimal subset of components in each layer, utilizing a knee-finding algorithm to select the minimal subset that preserves performance without requiring user-defined pruning volumes. Extensive experiments on multiple architectures, including VGG-16, ResNet-50, and MobileNet-V2, across datasets like CIFAR-10, CIFAR-100, and ImageNet-1K, demonstrate that ACSP achieves competitive accuracy compared to other methods while significantly reducing computational costs. This fully automated approach not only enhances scalability but also makes ACSP especially practical for real-world deployment by eliminating the need for manually defining the pruning volume.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google