Certified Robust Neural Networks: Generalization and Corruption Resistance

要約

最近の研究では、（「破損」に対する）堅牢性は一般化と相反する可能性があることが実証されています。
たとえば、敵対的トレーニングは、現代のニューラル ネットワークが小さなデータの摂動に対して問題となりやすい問題を軽減することを目的としています。
驚くべきことに、オーバーフィッティングは、標準的なトレーニングではほとんど存在しないにもかかわらず、敵対的トレーニングでは大きな懸念事項です。
ここでは、この独特の「ロバストな過学習」現象の理論的証拠を提供します。
続いて、ロバスト性と一般化を橋渡しする新しい分布的にロバストな損失関数を開発します。
私たちは、保証された一般化を保証しながら、データ回避とポイズニング攻撃という 2 つの一般的なタイプの破損に対して認定レベルの堅牢性を享受することができない場合に損失が発生することを理論的にも経験的にも実証します。
私たちは、慎重な数値実験を通じて、結果として得られる総合的ロバスト (HR) トレーニング手順が SOTA パフォーマンスを生み出すことを示しています。
最後に、HR トレーニングは敵対的トレーニングの直接の拡張として解釈でき、追加の計算負荷は無視できる程度であることを示します。
私たちのアルゴリズムを実装したすぐに使用できる Python ライブラリは、https://github.com/RyanLucas3/HR_Neural_Networks で入手できます。

要約(オリジナル)

Recent work have demonstrated that robustness (to ‘corruption’) can be at odds with generalization. Adversarial training, for instance, aims to reduce the problematic susceptibility of modern neural networks to small data perturbations. Surprisingly, overfitting is a major concern in adversarial training despite being mostly absent in standard training. We provide here theoretical evidence for this peculiar ‘robust overfitting’ phenomenon. Subsequently, we advance a novel distributionally robust loss function bridging robustness and generalization. We demonstrate both theoretically as well as empirically the loss to enjoy a certified level of robustness against two common types of corruption–data evasion and poisoning attacks–while ensuring guaranteed generalization. We show through careful numerical experiments that our resulting holistic robust (HR) training procedure yields SOTA performance. Finally, we indicate that HR training can be interpreted as a direct extension of adversarial training and comes with a negligible additional computational burden. A ready-to-use python library implementing our algorithm is available at https://github.com/RyanLucas3/HR_Neural_Networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google