ANCER: Anisotropic Certification via Sample-wise Volume Maximization

要約

ランダム化された平滑化は、大規模なディープ ニューラル ネットワーク分類器の認証を可能にする効果的なツールとして最近登場しました。
ランダム化された平滑化に関するすべての従来技術は、等方性 $\ell_p$ 証明に焦点を当ててきました。これには、$\ell_p$ ノルム半径を介して等方性メソッド間で簡単に比較できる証明書が得られるという利点があります。
ただし、等方性認証は、最悪の場合の敵対者への入力の周りで認証できる領域を制限します。つまり、他の「近い」、潜在的に大きく、一定の予測安全領域について推論することはできません。
この問題を軽減するために、(i) 理論的には、等方性ランダム化平滑化 $\ell_1$ および $\ell_2$ 証明書を、単純化された分析に従って、一般化された異方性の対応する証明書に拡張します。
さらに、（ii）一般的な証明書の比較を可能にする評価指標を提案します-証明書がスーパーセット地域を認証する場合、証明書は別の証明書よりも優れています-認証された地域の量による各証明書の定量化。
ボリューム最大化を介して特定のテスト セット サンプルの異方性証明書を取得するためのフレームワークである ANCER を紹介します。
データ依存分類器のメモリベースの認証を一般化することで、これを実現します。
私たちの経験的結果は、ANCER が CIFAR-10 と ImageNet のデータ依存設定で最先端の $\ell_1$ および $\ell_2$ 認定精度を達成し、ボリュームの観点からより大きな領域を認定し、利点を強調していることを示しています。
等方性分析からの脱却。
コードは https://github.com/MotasemAlfarra/ANCER で入手できます。

要約(オリジナル)

Randomized smoothing has recently emerged as an effective tool that enables certification of deep neural network classifiers at scale. All prior art on randomized smoothing has focused on isotropic $\ell_p$ certification, which has the advantage of yielding certificates that can be easily compared among isotropic methods via $\ell_p$-norm radius. However, isotropic certification limits the region that can be certified around an input to worst-case adversaries, i.e., it cannot reason about other ‘close’, potentially large, constant prediction safe regions. To alleviate this issue, (i) we theoretically extend the isotropic randomized smoothing $\ell_1$ and $\ell_2$ certificates to their generalized anisotropic counterparts following a simplified analysis. Moreover, (ii) we propose evaluation metrics allowing for the comparison of general certificates – a certificate is superior to another if it certifies a superset region – with the quantification of each certificate through the volume of the certified region. We introduce ANCER, a framework for obtaining anisotropic certificates for a given test set sample via volume maximization. We achieve it by generalizing memory-based certification of data-dependent classifiers. Our empirical results demonstrate that ANCER achieves state-of-the-art $\ell_1$ and $\ell_2$ certified accuracy on CIFAR-10 and ImageNet in the data-dependence setting, while certifying larger regions in terms of volume, highlighting the benefits of moving away from isotropic analysis. Our code is available in https://github.com/MotasemAlfarra/ANCER.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google