Over-parameterization and Adversarial Robustness in Neural Networks: An Overview and Empirical Analysis

要約

過剰パラメータ化されたニューラル ネットワークは、その広範な容量のおかげで、優れた予測能力と一般化を示します。
しかし、大きなパラメータ空間を持つことは、敵対的な例 (目的の誤分類を誘発するためにアドホックに作成された入力サンプル) に対するニューラル ネットワークの脆弱性の主な疑いの 1 つであると考えられています。
関連文献では、過剰パラメータ化されたネットワークの堅牢性を支持する、または反対するという矛盾した発言が主張されています。
これらの矛盾した結果は、ネットワークの堅牢性を評価するために使用された攻撃の失敗によるものである可能性があります。
これまでの研究では、検討したモデルによっては、敵対的な例の生成に使用されるアルゴリズムが適切に機能せず、モデルの堅牢性を過大評価する可能性があることが実証されています。
この研究では、敵対的な例に対する過剰パラメータ化されたネットワークの堅牢性を実証的に研究します。
ただし、以前の研究とは異なり、結果の真実性を裏付けるために、検討された攻撃の信頼性も評価します。
私たちの結果は、パラメータが過小なネットワークとは対照的に、パラメータが過大に設定されたネットワークは敵対的な攻撃に対して堅牢であることを示しています。

要約(オリジナル)

Thanks to their extensive capacity, over-parameterized neural networks exhibit superior predictive capabilities and generalization. However, having a large parameter space is considered one of the main suspects of the neural networks’ vulnerability to adversarial example — input samples crafted ad-hoc to induce a desired misclassification. Relevant literature has claimed contradictory remarks in support of and against the robustness of over-parameterized networks. These contradictory findings might be due to the failure of the attack employed to evaluate the networks’ robustness. Previous research has demonstrated that depending on the considered model, the algorithm employed to generate adversarial examples may not function properly, leading to overestimating the model’s robustness. In this work, we empirically study the robustness of over-parameterized networks against adversarial examples. However, unlike the previous works, we also evaluate the considered attack’s reliability to support the results’ veracity. Our results show that over-parameterized networks are robust against adversarial attacks as opposed to their under-parameterized counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google