Certifiable Black-Box Attacks with Randomized Adversarial Examples: Breaking Defenses with Provable Confidence

要約

ブラックボックス敵対的攻撃は、機械学習モデルを破壊する強力な可能性を示している。既存のブラックボックス攻撃は、ターゲットモデルに繰り返しクエリをかけたり、ローカルサロゲートモデルの移植性を利用したりすることで、敵対的な例を作成する。近年、このような攻撃は、逐次的なクエリのパターンによる検出や、モデルへのノイズの注入など、最先端の（SOTA）防御によって効果的に軽減することができる。我々の知る限り、証明可能な保証を持つブラックボックス攻撃の新しいパラダイムを研究する最初の一歩を踏み出した。証明可能なブラックボックス攻撃とは、ターゲットモデルに対するクエリの前に、敵対的な例の攻撃成功確率(ASP)を保証できる攻撃である。この新しいブラックボックス攻撃は、従来の経験的なブラックボックス攻撃と比較して、機械学習モデルの重大な脆弱性を明らかにする。例えば、証明可能な信頼性で強力なSOTA防御を破り、高いASPを持つ（無限の）敵対的な例空間を構築し、生成された敵対的な例のASPは、ターゲットモデルに対する検証／クエリなしで理論的に保証される。具体的には、ランダム化敵対例(AE)を用いたブラックボックス攻撃のASPを保証するための新しい理論的基盤を確立する。次に、ランダム化されたAEを作成するためのいくつかの新しい技術を提案する。最後に、CIFAR10/100、ImageNet、LibriSpeechデータセットを用いて、16のSOTA経験的ブラックボックス攻撃をベンチマークしながら、コンピュータビジョンと音声認識の領域における様々なSOTA防御に対して、証明可能なブラックボックス攻撃を総合的に評価した。理論結果と実験結果の両方から、提案する攻撃の重要性が検証された。

要約(オリジナル)

Black-box adversarial attacks have shown strong potential to subvert machine learning models. Existing black-box attacks craft adversarial examples by iteratively querying the target model and/or leveraging the transferability of a local surrogate model. Recently, such attacks can be effectively mitigated by state-of-the-art (SOTA) defenses, e.g., detection via the pattern of sequential queries, or injecting noise into the model. To our best knowledge, we take the first step to study a new paradigm of black-box attacks with provable guarantees — certifiable black-box attacks that can guarantee the attack success probability (ASP) of adversarial examples before querying over the target model. This new black-box attack unveils significant vulnerabilities of machine learning models, compared to traditional empirical black-box attacks, e.g., breaking strong SOTA defenses with provable confidence, constructing a space of (infinite) adversarial examples with high ASP, and the ASP of the generated adversarial examples is theoretically guaranteed without verification/queries over the target model. Specifically, we establish a novel theoretical foundation for ensuring the ASP of the black-box attack with randomized adversarial examples (AEs). Then, we propose several novel techniques to craft the randomized AEs while reducing the perturbation size for better imperceptibility. Finally, we have comprehensively evaluated the certifiable black-box attacks on the CIFAR10/100, ImageNet, and LibriSpeech datasets, while benchmarking with 16 SOTA empirical black-box attacks, against various SOTA defenses in the domains of computer vision and speech recognition. Both theoretical and experimental results have validated the significance of the proposed attack.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL