AROID: Improving Adversarial Robustness through Online Instance-wise Data Augmentation

要約

ディープ ニューラル ネットワークは、敵対的な例に対して脆弱です。
敵対的トレーニング (AT) は、敵対的な例に対する効果的な防御です。
ただし、AT はオーバーフィットする傾向があり、堅牢性が大幅に低下します。
最近、データ拡張 (DA) が AT 用に適切に設計および最適化されていれば、頑強なオーバーフィッティングを軽減するのに効果的であることが示されました。
この研究では、AT の堅牢な一般化を向上させるために、オンラインでインスタンスごとの DA ポリシーを自動的に学習する新しい方法を提案しています。
脆弱性、親和性、多様性から構成される新しいポリシー学習目標が提案され、AT 中の自動 DA 生成に実用的であるのに十分に効果的かつ効率的であることが示されています。
これにより、私たちの方法は、より効果的な DA ポリシーを求めて大規模な検索スペースを効率的に探索し、トレーニングの進行に応じてポリシーを進化させることができます。
経験的に、私たちの手法は、さまざまなモデル アーキテクチャ (CNN および ViT) およびデータセット (CIFAR10、SVHN、および Imagenette) にわたって、競合するすべての DA 手法よりも優れたパフォーマンスまたは同等のパフォーマンスを示すことが示されています。
当社の DA ポリシーにより、バニラ AT は、精度と堅牢性の両方の点で、いくつかの最先端の AT 手法 (ベースライン DA を使用) を上回るように強化されました。
また、これらの高度な AT 方式と組み合わせて堅牢性をさらに高めることもできます。

要約(オリジナル)

Deep neural networks are vulnerable to adversarial examples. Adversarial training (AT) is an effective defense against adversarial examples. However, AT is prone to overfitting which degrades robustness substantially. Recently, data augmentation (DA) was shown to be effective in mitigating robust overfitting if appropriately designed and optimized for AT. This work proposes a new method to automatically learn online, instance-wise, DA policies to improve robust generalization for AT. A novel policy learning objective, consisting of Vulnerability, Affinity and Diversity, is proposed and shown to be sufficiently effective and efficient to be practical for automatic DA generation during AT. This allows our method to efficiently explore a large search space for a more effective DA policy and evolve the policy as training progresses. Empirically, our method is shown to outperform or match all competitive DA methods across various model architectures (CNNs and ViTs) and datasets (CIFAR10, SVHN and Imagenette). Our DA policy reinforced vanilla AT to surpass several state-of-the-art AT methods (with baseline DA) in terms of both accuracy and robustness. It can also be combined with those advanced AT methods to produce a further boost in robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google