GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models

要約

タイトル: GREAT Score：生成モデルを使用した敵対的摂動のグローバル堅牢性評価

要約:
– 現在の敵対的な堅牢性に関する研究は、異なるモデルを評価し、ランキング付けするために一連のデータサンプルからのローカル堅牢性の結果を集約することに焦点を当てています。
– しかし、ローカル統計量は、下層の未知データ分布の真のグローバルな堅牢性を適切に表現することができない可能性があります。この課題に対処するために、この論文は、生成モデルを使用した敵対的摂動のグローバル堅牢性評価のための新しいフレームワークであるGREAT Scoreを初めて提案しています。
– 形式的には、GREAT Scoreは、生成モデルから描画されたすべてのサンプルにわたる平均認定攻撃証明摂動レベルをキャプチャするグローバル統計量の物理的意味を持ちます。また、有限サンプル評価のために、サンプル複雑度とサンプル平均と真の平均の差に関する確率的保証も導き出されます。
– GREAT Scoreには以下の利点があります。
1. GREAT Scoreを使用した堅牢性評価は、敵対的攻撃を実行する必要がないため、大規模なモデルにとって効率的でスケーラブルです。特に、RobustBench（Croce、et. al. 2021）での攻撃ベースのモデルランキングと比較して、GREAT Scoreの高い相関性と大幅に削減された計算コストを示しました。
2. 生成モデルの使用により、未知のデータ分布を近似することが容易になります。異なる生成対抗ネットワーク（GAN）を用いたアブレーション研究において、グローバル堅牢性評価とGANの品質の間に一貫性があることが観察されました。
3. GREAT Scoreは、いくつかのオンライン顔認識サービスでの堅牢性評価によって示されるように、プライバシーに配慮したブラックボックスモデルのリモート監査に使用できます。

要約(オリジナル)

Current studies on adversarial robustness mainly focus on aggregating local robustness results from a set of data samples to evaluate and rank different models. However, the local statistics may not well represent the true global robustness of the underlying unknown data distribution. To address this challenge, this paper makes the first attempt to present a new framework, called GREAT Score , for global robustness evaluation of adversarial perturbation using generative models. Formally, GREAT Score carries the physical meaning of a global statistic capturing a mean certified attack-proof perturbation level over all samples drawn from a generative model. For finite-sample evaluation, we also derive a probabilistic guarantee on the sample complexity and the difference between the sample mean and the true mean. GREAT Score has several advantages: (1) Robustness evaluations using GREAT Score are efficient and scalable to large models, by sparing the need of running adversarial attacks. In particular, we show high correlation and significantly reduced computation cost of GREAT Score when compared to the attack-based model ranking on RobustBench (Croce,et. al. 2021). (2) The use of generative models facilitates the approximation of the unknown data distribution. In our ablation study with different generative adversarial networks (GANs), we observe consistency between global robustness evaluation and the quality of GANs. (3) GREAT Score can be used for remote auditing of privacy-sensitive black-box models, as demonstrated by our robustness evaluation on several online facial recognition services.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI