Adaptive Sharpness-Aware Pruning for Robust Sparse Networks

要約

堅牢性とコンパクト性は、現実世界に展開される深層学習モデルの 2 つの重要な属性です。
堅牢性とコンパクト性の目標は矛盾しているように見えるかもしれません。堅牢性にはドメイン全体にわたる一般化が必要ですが、圧縮のプロセスでは 1 つのドメイン内の特異性が利用されるためです。
ネットワークの鮮明さのレンズを通してこれらの目標を統合する Adaptive Sharpness-Aware Pruning (AdaSAP) を導入します。
AdaSAP メソッドは、トレーニング時には目に見えない入力変動に対して堅牢なスパース ネットワークを生成します。
私たちは、損失状況を最適化するために重量の変動を戦略的に組み込むことでこれを実現します。
これにより、モデルを枝刈り用に準備し、正規化して堅牢性を向上させることができます。
AdaSAP は、幅広い圧縮率にわたって、画像分類におけるプルーニングされたモデルの堅牢な精度を ImageNet C で最大 +6%、ImageNet V2 で +4%、破損した Pascal VOC データセットで +4% 向上させます。
、枝刈り基準、およびネットワーク アーキテクチャは、最近の枝刈り技術を大幅に上回っています。

要約(オリジナル)

Robustness and compactness are two essential attributes of deep learning models that are deployed in the real world. The goals of robustness and compactness may seem to be at odds, since robustness requires generalization across domains, while the process of compression exploits specificity in one domain. We introduce Adaptive Sharpness-Aware Pruning (AdaSAP), which unifies these goals through the lens of network sharpness. The AdaSAP method produces sparse networks that are robust to input variations which are unseen at training time. We achieve this by strategically incorporating weight perturbations in order to optimize the loss landscape. This allows the model to be both primed for pruning and regularized for improved robustness. AdaSAP improves the robust accuracy of pruned models on image classification by up to +6% on ImageNet C and +4% on ImageNet V2, and on object detection by +4% on a corrupted Pascal VOC dataset, over a wide range of compression ratios, pruning criteria, and network architectures, outperforming recent pruning art by large margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google