Understanding the effect of sparsity on neural networks robustness

要約

このホワイトペーパーでは、静的なスパース性が、重みの摂動、データの破損、および敵対的な例に対するトレーニング済みネットワークの堅牢性に与える影響を検証します。
ネットワーク容量を固定したままネットワークの幅と深さを増やすことで達成される一定のスパース性まで、スパース化されたネットワークは一貫して一致し、多くの場合、最初の密集したバージョンよりも優れていることを示します。
ネットワーク層間の接続が緩いため、非常に高いスパース性では、堅牢性と精度が同時に低下します。
私たちの調査結果は、文献で観察されたネットワーク圧縮によって引き起こされた急速な堅牢性の低下は、スパース性ではなくネットワーク容量の減少によるものであることを示しています。

要約(オリジナル)

This paper examines the impact of static sparsity on the robustness of a trained network to weight perturbations, data corruption, and adversarial examples. We show that, up to a certain sparsity achieved by increasing network width and depth while keeping the network capacity fixed, sparsified networks consistently match and often outperform their initially dense versions. Robustness and accuracy decline simultaneously for very high sparsity due to loose connectivity between network layers. Our findings show that a rapid robustness drop caused by network compression observed in the literature is due to a reduced network capacity rather than sparsity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google