Beyond Empirical Risk Minimization: Local Structure Preserving Regularization for Improving Adversarial Robustness

要約

ディープ ニューラル ネットワークは、人間が知覚できない摂動を伴う敵対的な例によってだまされやすいことが広く知られています。
敵対的ロバスト性を改善するためにさまざまな防御策が提案されていますが、その中でも敵対的トレーニング方法が最も効果的です。
ただし、これらの方法のほとんどは、トレーニング サンプルを個別に処理し、堅牢なネットワークをトレーニングするために膨大な量のサンプルを要求しますが、これらのサンプル間の潜在的な構造情報は無視します。
この作業では、学習した埋め込み空間で入力空間の局所構造を維持することを目的とした、新しい局所構造維持 (LSP) 正則化を提案します。
このようにして、クリーンなサンプルの近くにある敵対的なサンプルの攻撃効果を軽減することができます。
敵対的トレーニングの有無にかかわらず、私たちの方法は、ベースラインおよびいくつかの最先端のアプローチと比較して、いくつかの画像分類データセットで敵対的ロバスト性のパフォーマンスを一貫して改善し、将来の研究に有望な方向性を提供するという強力な経験的証拠を示します。

要約(オリジナル)

It is broadly known that deep neural networks are susceptible to being fooled by adversarial examples with perturbations imperceptible by humans. Various defenses have been proposed to improve adversarial robustness, among which adversarial training methods are most effective. However, most of these methods treat the training samples independently and demand a tremendous amount of samples to train a robust network, while ignoring the latent structural information among these samples. In this work, we propose a novel Local Structure Preserving (LSP) regularization, which aims to preserve the local structure of the input space in the learned embedding space. In this manner, the attacking effect of adversarial samples lying in the vicinity of clean samples can be alleviated. We show strong empirical evidence that with or without adversarial training, our method consistently improves the performance of adversarial robustness on several image classification datasets compared to the baselines and some state-of-the-art approaches, thus providing promising direction for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google