Pruning Deep Neural Networks from a Sparsity Perspective

要約

タイトル：スパース性の観点からのディープニューラルネットワークの剪定

要約：
– 近年、AIの小さなデバイスへの迅速な展開を可能にするために、深層学習の剪定が注目されています。
– 剪定は、冗長な重み、ニューロン、またはレイヤーを除去することで、同等のテスト性能を維持しながら行われます。
– 多くの深い剪定アルゴリズムが提案され、印象的な実証結果が得られています。
– しかし、既存のアプローチには、各剪定反復中にサブネットワークの圧縮可能性を推定する定量的な測定方法が欠けているため、モデルの過剪定または不足剪定を引き起こす可能性があります。
– この研究では、深層ニューラルネットワークの潜在的な圧縮可能性を測定するPQ Index（PQI）を提案し、これを使用してスパース性に基づいた適応的な剪定（SAP）アルゴリズムを開発します。
– 幅広い実験により、一般的な剪定手順では、PQIが大きなモデルが効果的に正則化されると減少し、その後、圧縮可能性が限界に達するとPQIが増加し始めることが仮説検証されます。
– さらに、モデルが崩壊し、モデルの性能に大きな悪化が見られ始めると、再びPQIが減少します。
– 加えて、適切なハイパーパラメータの選択により、提案された適応的な剪定アルゴリズムは、ロット数に基づく剪定手法などの反復剪定アルゴリズムよりも、圧縮効率と堅牢性の両方の面で優れていることが示されます。

要約(オリジナル)

In recent years, deep network pruning has attracted significant attention in order to enable the rapid deployment of AI into small devices with computation and memory constraints. Pruning is often achieved by dropping redundant weights, neurons, or layers of a deep network while attempting to retain a comparable test performance. Many deep pruning algorithms have been proposed with impressive empirical success. However, existing approaches lack a quantifiable measure to estimate the compressibility of a sub-network during each pruning iteration and thus may under-prune or over-prune the model. In this work, we propose PQ Index (PQI) to measure the potential compressibility of deep neural networks and use this to develop a Sparsity-informed Adaptive Pruning (SAP) algorithm. Our extensive experiments corroborate the hypothesis that for a generic pruning procedure, PQI decreases first when a large model is being effectively regularized and then increases when its compressibility reaches a limit that appears to correspond to the beginning of underfitting. Subsequently, PQI decreases again when the model collapse and significant deterioration in the performance of the model start to occur. Additionally, our experiments demonstrate that the proposed adaptive pruning algorithm with proper choice of hyper-parameters is superior to the iterative pruning algorithms such as the lottery ticket-based pruning methods, in terms of both compression efficiency and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI