Gradient Obfuscation Checklist Test Gives a False Sense of Security

要約

敵対的攻撃に対する防御技術の一般的なグループの1つは、ネットワークに確率的ノイズを注入することに基づいています。
ただし、このような確率的防御の堅牢性の主な原因は、多くの場合、勾配の難読化によるものであり、誤った安心感をもたらします。
人気のある敵対的攻撃のほとんどは最適化ベースであるため、難読化された勾配は攻撃能力を低下させますが、モデルは依然としてより強力な、または特別に調整された敵対的攻撃の影響を受けやすくなります。
最近、ロバストネスの改善が主に勾配の難読化によって引き起こされる場合に一般的に観察される5つの特性が特定されました。
それ以来、これらの5つの特性を十分なテストとして使用して、勾配の難読化が堅牢性の主な原因であるかどうかを判断する傾向になっています。
ただし、これらの特性は、勾配難読化の既存のすべてのケースを完全に特徴付けるわけではないため、最終的なテストの基礎として機能することはできません。
この作業では、反例を示し、勾配の難読化が堅牢性の向上の主な原因ではないと結論付けるには、このテストでは不十分であることを示します。

要約(オリジナル)

One popular group of defense techniques against adversarial attacks is based on injecting stochastic noise into the network. The main source of robustness of such stochastic defenses however is often due to the obfuscation of the gradients, offering a false sense of security. Since most of the popular adversarial attacks are optimization-based, obfuscated gradients reduce their attacking ability, while the model is still susceptible to stronger or specifically tailored adversarial attacks. Recently, five characteristics have been identified, which are commonly observed when the improvement in robustness is mainly caused by gradient obfuscation. It has since become a trend to use these five characteristics as a sufficient test, to determine whether or not gradient obfuscation is the main source of robustness. However, these characteristics do not perfectly characterize all existing cases of gradient obfuscation, and therefore can not serve as a basis for a conclusive test. In this work, we present a counterexample, showing this test is not sufficient for concluding that gradient obfuscation is not the main cause of improvements in robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google