Efficient Biologically Plausible Adversarial Training

要約

バックプロパゲーション (BP) でトレーニングされた人工ニューラル ネットワーク (ANN) は驚異的なパフォーマンスを示し、日常生活のタスクを実行する際に使用されることが増えています。
ただし、ANN は敵対的攻撃に対して非常に脆弱であり、敵対的攻撃は、モデルのパフォーマンスを大幅に混乱させる小さな対象を絞った摂動で入力を変更します。
これらの攻撃に対して ANN を堅牢にする最も効果的な方法は、敵対的トレーニングです。このトレーニングでは、トレーニング データセットが例示的な敵対的サンプルで強化されます。
残念ながら、このアプローチには、敵対的サンプルの生成に非常に多くの計算負荷がかかるため、トレーニングの複雑さが増大するという欠点があります。
ANN とは対照的に、人間は敵対的な攻撃の影響を受けません。
したがって、この研究では、生物学的に妥当な学習アルゴリズムが BP よりも敵対的攻撃に対して堅牢であるかどうかを調査します。
特に、さまざまなコンピューター ビジョン タスクにおける、BP と、最近提案された生物学的に妥当な学習アルゴリズムである \textit{Present the Error to Perturb the Input To modulate activity} (PEPITA) の敵対的堅牢性の広範な比較分析を示します。
PEPITA は本質的に敵対的堅牢性が高く、敵対的トレーニングを使用すると、自然対敵対のパフォーマンスのトレードオフがより有利になることがわかります。これは、同じ自然精度の場合、PEPITA の敵対的精度が平均で 0.26%、BP が 8.05% 低下するためです。
。

要約(オリジナル)

Artificial Neural Networks (ANNs) trained with Backpropagation (BP) show astounding performance and are increasingly often used in performing our daily life tasks. However, ANNs are highly vulnerable to adversarial attacks, which alter inputs with small targeted perturbations that drastically disrupt the models’ performance. The most effective method to make ANNs robust against these attacks is adversarial training, in which the training dataset is augmented with exemplary adversarial samples. Unfortunately, this approach has the drawback of increased training complexity since generating adversarial samples is very computationally demanding. In contrast to ANNs, humans are not susceptible to adversarial attacks. Therefore, in this work, we investigate whether biologically-plausible learning algorithms are more robust against adversarial attacks than BP. In particular, we present an extensive comparative analysis of the adversarial robustness of BP and \textit{Present the Error to Perturb the Input To modulate Activity} (PEPITA), a recently proposed biologically-plausible learning algorithm, on various computer vision tasks. We observe that PEPITA has higher intrinsic adversarial robustness and, with adversarial training, has a more favourable natural-vs-adversarial performance trade-off as, for the same natural accuracies, PEPITA’s adversarial accuracies decrease in average by 0.26% and BP’s by 8.05%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google