Mitigating Adversarial Vulnerability through Causal Parameter Estimation by Adversarial Double Machine Learning

要約

視覚入力に対する意図的に作成された摂動から派生した敵対的な例は、ディープ ニューラル ネットワークの意思決定プロセスに容易に悪影響を与える可能性があります。
潜在的な脅威を防ぐために、さまざまな敵対的トレーニングベースの防御方法が急速に成長し、堅牢性を実現するための事実上の標準アプローチとなっています。
最近の競争上の成​​果にもかかわらず、敵対的な脆弱性はターゲットごとに異なり、特定の脆弱性が依然として蔓延していることが観察されています。
興味深いことに、このような特異な現象は、より深いアーキテクチャと高度な防御方法を使用しても軽減することはできません。
この問題に対処するために、この論文では、敵対的二重機械学習 (ADML) と呼ばれる因果的アプローチを導入します。これにより、ネットワーク予測に対する敵対的脆弱性の程度を定量化し、関心のある結果に対する治療の効果を捉えることができます。
ADML は、敵対的摂動そのものの因果関係パラメーターを直接推定し、堅牢性に損害を与える可能性があるマイナスの影響を軽減し、因果関係の観点から敵対的脆弱性を橋渡しできます。
さまざまな CNN および Transformer アーキテクチャに関する広範な実験を通じて、ADML が大きなマージンで敵対的な堅牢性を向上させ、経験的な観察を軽減することを確認しました。

要約(オリジナル)

Adversarial examples derived from deliberately crafted perturbations on visual inputs can easily harm decision process of deep neural networks. To prevent potential threats, various adversarial training-based defense methods have grown rapidly and become a de facto standard approach for robustness. Despite recent competitive achievements, we observe that adversarial vulnerability varies across targets and certain vulnerabilities remain prevalent. Intriguingly, such peculiar phenomenon cannot be relieved even with deeper architectures and advanced defense methods. To address this issue, in this paper, we introduce a causal approach called Adversarial Double Machine Learning (ADML), which allows us to quantify the degree of adversarial vulnerability for network predictions and capture the effect of treatments on outcome of interests. ADML can directly estimate causal parameter of adversarial perturbations per se and mitigate negative effects that can potentially damage robustness, bridging a causal perspective into the adversarial vulnerability. Through extensive experiments on various CNN and Transformer architectures, we corroborate that ADML improves adversarial robustness with large margins and relieve the empirical observation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google