A Data-Centric Approach for Improving Adversarial Training Through the Lens of Out-of-Distribution Detection

要約

現在の機械学習モデルは、多くの実世界のアプリケーションで超人的なパフォーマンスを実現しています。
それでも、彼らは目に見えない敵対的摂動の影響を受けやすい.
この問題の最も効果的な解決策は、元のサンプルではなく敵対的に摂動されたサンプルでモデルをトレーニングする敵対的トレーニングです。
近年、データ拡張やトレーニング攻撃の修正など、敵対的トレーニングを改善するためのさまざまな方法が開発されてきました。
この作業では、同じ問題を新しいデータ中心の観点から調べます。
この目的のために、最初に、既存のモデルベースの方法が、より小さな摂動または最適化の重みをハードトレーニングの例に適用することと同等である可能性があることを示します。
この発見を使用することにより、複雑なアルゴリズムを適用して影響を軽減するのではなく、トレーニング手順からこれらのハードサンプルを直接検出して削除することを提案します。
検出のために、ハードサンプルをデータ分布全体の分布外サンプルと見なすことができるため、分布外検出の効果的な方法として最大ソフトマックス確率を使用します。
SVHN および CIFAR-10 データセットでの結果は、計算コストをあまり追加せずに敵対的トレーニングを改善するこの方法の有効性を示しています。

要約(オリジナル)

Current machine learning models achieve super-human performance in many real-world applications. Still, they are susceptible against imperceptible adversarial perturbations. The most effective solution for this problem is adversarial training that trains the model with adversarially perturbed samples instead of original ones. Various methods have been developed over recent years to improve adversarial training such as data augmentation or modifying training attacks. In this work, we examine the same problem from a new data-centric perspective. For this purpose, we first demonstrate that the existing model-based methods can be equivalent to applying smaller perturbation or optimization weights to the hard training examples. By using this finding, we propose detecting and removing these hard samples directly from the training procedure rather than applying complicated algorithms to mitigate their effects. For detection, we use maximum softmax probability as an effective method in out-of-distribution detection since we can consider the hard samples as the out-of-distribution samples for the whole data distribution. Our results on SVHN and CIFAR-10 datasets show the effectiveness of this method in improving the adversarial training without adding too much computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google