Boosting Few-Pixel Robustness Verification via Covering Verification Designs

要約

ニューラル ネットワークの信頼性を高めるには、局所的な堅牢性を証明することが重要です。
多くの検証者が $L_\infty$ $\epsilon$-balls での堅牢性を証明していますが、$L_0$ $\epsilon$-balls での堅牢性検証を扱った研究はほとんどなく、少数のピクセル攻撃に対する堅牢性を捉えています。
摂動するピクセルの空間は離散的であり、指数関数的なサイズであるため、この検証では組み合わせの課題が生じます。
以前の研究では、$L_\infty$ 近傍を定義するためのセットを特定するためのカバー計画に依存していました。これは、堅牢であることが証明されれば、$L_0$ $\epsilon$-ball が堅牢であることを意味します。
ただし、検証する近傍の数が依然として非常に多いため、分析時間が長くなります。
我々は、効果的だが解析には適合しない被覆を $L_0$ 堅牢性検証に適合させる組み合わせ設計である被覆検証設計を提案します。
課題は、カバーリング検証設計の計算に多くの時間とメモリのオーバーヘッドがかかることであり、全体の解析時間を短縮する方法を特定するために複数の候補カバーリングが必要な今回の設定では、その問題がさらに顕著になります。
CoVerD は、さまざまな候補カバーを構築せずにブロック サイズ分布を予測することで選択する、$L_0$ の堅牢性検証ツールです。
この予測は、この分布の平均と分散を閉形式で表す定理に基づいています。
CoVerD は、メモリ消費を最小限に抑え、分析の並列化を可能にしながら、選択されたカバー検証デザインをオンザフライで構築します。
実験結果は、CoVerD が以前の研究と比較して検証時間を平均で最大 5.1 倍短縮し、より大きな $L_0$ $\epsilon$-balls に拡張できることを示しています。

要約(オリジナル)

Proving local robustness is crucial to increase the reliability of neural networks. While many verifiers prove robustness in $L_\infty$ $\epsilon$-balls, very little work deals with robustness verification in $L_0$ $\epsilon$-balls, capturing robustness to few pixel attacks. This verification introduces a combinatorial challenge, because the space of pixels to perturb is discrete and of exponential size. A previous work relies on covering designs to identify sets for defining $L_\infty$ neighborhoods, which if proven robust imply that the $L_0$ $\epsilon$-ball is robust. However, the number of neighborhoods to verify remains very high, leading to a high analysis time. We propose covering verification designs, a combinatorial design that tailors effective but analysis-incompatible coverings to $L_0$ robustness verification. The challenge is that computing a covering verification design introduces a high time and memory overhead, which is intensified in our setting, where multiple candidate coverings are required to identify how to reduce the overall analysis time. We introduce CoVerD, an $L_0$ robustness verifier that selects between different candidate coverings without constructing them, but by predicting their block size distribution. This prediction relies on a theorem providing closed-form expressions for the mean and variance of this distribution. CoVerD constructs the chosen covering verification design on-the-fly, while keeping the memory consumption minimal and enabling to parallelize the analysis. The experimental results show that CoVerD reduces the verification time on average by up to 5.1x compared to prior work and that it scales to larger $L_0$ $\epsilon$-balls.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google