The Adaptive Arms Race: Redefining Robustness in AI Security

要約

それらを堅牢にするためのかなりの努力にもかかわらず、現実世界のAIベースのシステムを意思決定ベースの攻撃に対して脆弱なままでいます。その運用上の堅牢性の決定的な証拠は、これまでのところ扱いにくいことが証明されています。
標準的な堅牢性評価は、適応攻撃に依存しており、防御の完全な知識を活用し、それをバイパスするように調整されています。
この作品は、攻撃と防御の両方を強化するために採用する適応性の概念を広げ、相互作用を通じて相互学習からどのように利益を得ることができるかを示しています。
彼らが形成する競争力のあるゲームの下で、ブラックボックス攻撃と防御を適応的に最適化するためのフレームワークを紹介します。
堅牢性を確実に評価するには、現実的および最悪の攻撃に対して評価することが不可欠です。
したがって、RLを使用して攻撃とそれらの回避兵器を一緒に強化し、同じ原理を防御に適用し、最初に独立して評価し、次にマルチエージェントの視点で共同で評価します。
システム応答を動的に制御するアクティブな防御は、決定ベースの攻撃に対するモデルの硬化に不可欠な補完物であることがわかります。
これらの防御は、適応攻撃によって回避できることです。これは、防御が適応的であることを引き出すものです。
広範な理論的および経験的調査に裏付けられた私たちの調査結果は、適応敵がブラックボックスAIベースのシステムに深刻な脅威をもたらし、ことわざの武器競争を再燃させることを確認します。
特に、私たちのアプローチは、最先端のブラックボックス攻撃と防御を上回り、それらをまとめて、実際の展開されたMLベースのシステムの堅牢性に関する効果的な洞察を提供します。

要約(オリジナル)

Despite considerable efforts on making them robust, real-world AI-based systems remain vulnerable to decision based attacks, as definitive proofs of their operational robustness have so far proven intractable. Canonical robustness evaluation relies on adaptive attacks, which leverage complete knowledge of the defense and are tailored to bypass it. This work broadens the notion of adaptivity, which we employ to enhance both attacks and defenses, showing how they can benefit from mutual learning through interaction. We introduce a framework for adaptively optimizing black-box attacks and defenses under the competitive game they form. To assess robustness reliably, it is essential to evaluate against realistic and worst-case attacks. We thus enhance attacks and their evasive arsenal together using RL, apply the same principle to defenses, and evaluate them first independently and then jointly under a multi-agent perspective. We find that active defenses, those that dynamically control system responses, are an essential complement to model hardening against decision-based attacks; that these defenses can be circumvented by adaptive attacks, something that elicits defenses being adaptive too. Our findings, supported by an extensive theoretical and empirical investigation, confirm that adaptive adversaries pose a serious threat to black-box AI-based systems, rekindling the proverbial arms race. Notably, our approach outperforms the state-of-the-art black-box attacks and defenses, while bringing them together to render effective insights into the robustness of real-world deployed ML-based systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google