Verification of Neural Networks’ Global Robustness

要約

ニューラル ネットワークはさまざまなアプリケーションで成功していますが、敵対的な攻撃の影響も受けやすいです。
ネットワーク分類器の安全性を示すために、特定の摂動に対する特定の入力の局所的な堅牢性を推論するために多くの検証器が導入されています。
局所的な堅牢性は成功していますが、目に見えない入力に対して一般化することはできません。
いくつかの研究では、グローバルな堅牢性特性を分析していますが、どちらも、ネットワーク分類器がその分類を変更しない場合について正確な保証を提供することはできません。
この研究では、最小のグローバル ロバスト限界を見つけることを目的とした、分類器の新しいグローバル ロバスト性プロパティを提案します。これは、分類器の一般的なローカル ロバスト性プロパティを自然に拡張します。
この境界を計算するためのいつでも検証できる VHAGaR を紹介します。
VHAGaR は 3 つの主要なアイデアに依存しています。それは、問題を混合整数計画法としてエンコードすること、摂動またはネットワーク計算から生じる依存関係を特定することによって検索空間を枝刈りすること、および未知の入力に対する敵対的攻撃を一般化することです。
いくつかのデータセットと分類器で VHAGaR を評価し、3 時間のタイムアウトを与えた場合、VHAGaR によって計算されたグローバル ロバスト性最小境界の下限と上限の間の平均ギャップが 1.9 であるのに対し、既存のグローバル ロバスト性検証器のギャップは 154.7 であることを示します。
。
さらに、VHAGaR はこのベリファイアより 130.6 倍高速です。
私たちの結果はさらに、依存関係と敵対的攻撃を活用することで VHAGaR が 78.6 倍高速になることを示しています。

要約(オリジナル)

Neural networks are successful in various applications but are also susceptible to adversarial attacks. To show the safety of network classifiers, many verifiers have been introduced to reason about the local robustness of a given input to a given perturbation. While successful, local robustness cannot generalize to unseen inputs. Several works analyze global robustness properties, however, neither can provide a precise guarantee about the cases where a network classifier does not change its classification. In this work, we propose a new global robustness property for classifiers aiming at finding the minimal globally robust bound, which naturally extends the popular local robustness property for classifiers. We introduce VHAGaR, an anytime verifier for computing this bound. VHAGaR relies on three main ideas: encoding the problem as a mixed-integer programming and pruning the search space by identifying dependencies stemming from the perturbation or network computation and generalizing adversarial attacks to unknown inputs. We evaluate VHAGaR on several datasets and classifiers and show that, given a three hour timeout, the average gap between the lower and upper bound on the minimal globally robust bound computed by VHAGaR is 1.9, while the gap of an existing global robustness verifier is 154.7. Moreover, VHAGaR is 130.6x faster than this verifier. Our results further indicate that leveraging dependencies and adversarial attacks makes VHAGaR 78.6x faster.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google