Identifying Adversarially Attackable and Robust Samples

要約

敵対的攻撃は、入力サンプルに小さな知覚できない摂動を挿入し、ディープ ラーニング モデルの出力に望ましくない大きな変化を引き起こします。
敵対的攻撃の生成と防御システムの構築に関する広範な研究にもかかわらず、入力データの観点から敵対的攻撃を理解するための研究は限られています。
この作業では、サンプルの攻撃可能性の概念を導入します。ここでは、敵対的攻撃の影響を最も受けやすいサンプル (攻撃可能なサンプル) を特定し、逆に最も影響を受けにくいサンプル (堅牢なサンプル) も特定することを目指しています。
目に見えないターゲット モデルの目に見えないデータセットで、敵対的に攻撃可能で堅牢なサンプルを検出するための深層学習ベースの方法を提案します。
標準的な画像分類データセットでの実験により、さまざまなアーキテクチャにわたる深層攻撃性検出器の移植性を評価することができます。
攻撃可能/堅牢なサンプルを識別するために、単純なモデルの不確実性に基づく測定よりも、深い攻撃可能性検出器の方が優れていることがわかりました。
これは、不確実性が決定境界までのサンプル距離を測定するための不適切な代理であることを示唆しています。
敵対的攻撃理論をよりよく理解することに加えて、敵対的に攻撃可能で堅牢なサンプルを特定する能力は、サンプル選択タスクの効率を改善することに影響を与えることがわかっています。
敵対的訓練のための増強における能動学習。

要約(オリジナル)

Adversarial attacks insert small, imperceptible perturbations to input samples that cause large, undesired changes to the output of deep learning models. Despite extensive research on generating adversarial attacks and building defense systems, there has been limited research on understanding adversarial attacks from an input-data perspective. This work introduces the notion of sample attackability, where we aim to identify samples that are most susceptible to adversarial attacks (attackable samples) and conversely also identify the least susceptible samples (robust samples). We propose a deep-learning-based method to detect the adversarially attackable and robust samples in an unseen dataset for an unseen target model. Experiments on standard image classification datasets enables us to assess the portability of the deep attackability detector across a range of architectures. We find that the deep attackability detector performs better than simple model uncertainty-based measures for identifying the attackable/robust samples. This suggests that uncertainty is an inadequate proxy for measuring sample distance to a decision boundary. In addition to better understanding adversarial attack theory, it is found that the ability to identify the adversarially attackable and robust samples has implications for improving the efficiency of sample-selection tasks, e.g. active learning in augmentation for adversarial training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google