Mitigating the Curse of Dimensionality for Certified Robustness via Dual Randomized Smoothing

要約

ランダム化スムージング (RS) は、任意の画像分類器に認定された堅牢性を与える有望な方法であることが証明されています。
ただし、高次元の等方性ガウス ノイズに固有の実質的な不確実性により、RS に次元の呪いが課せられます。
具体的には、RS によって提供される ${\ell_2}$ 認定ロバストネス半径の上限は、入力次元 $d$ の拡大に伴って減少傾向を示し、それに比例して $1/\sqrt{d}$ の割合で減少します。
この論文では、低次元空間での二重平滑化の利用を通じて、高次元入力に対して ${\ell_2}$ 認定の堅牢性を提供する実現可能性を検討します。
提案されたデュアル ランダム化スムージング (DRS) は、入力画像を 2 つのサブ画像にダウンサンプリングし、その 2 つのサブ画像を低次元で平滑化します。
理論的には、DRS が元の入力に対して ${\ell_2}$ 認定された厳密な堅牢性半径を保証することを証明し、DRS が ${\ell_2}$ の堅牢性半径で優れた上限を達成し、$ の割合で比例して減少することを明らかにします。
(1/\sqrt m + 1/\sqrt n )$ ($m+n=d$)。
広範な実験により、DRS の一般化可能性と有効性が実証されており、DRS は確立された方法論と統合する注目すべき機能を示し、CIFAR-10 および ImageNet データセット上の RS の精度と ${\ell_2}$ 認定の堅牢性ベースラインの両方で大幅な向上をもたらします。
コードは https://github.com/xiasong0501/DRS で入手できます。

要約(オリジナル)

Randomized Smoothing (RS) has been proven a promising method for endowing an arbitrary image classifier with certified robustness. However, the substantial uncertainty inherent in the high-dimensional isotropic Gaussian noise imposes the curse of dimensionality on RS. Specifically, the upper bound of ${\ell_2}$ certified robustness radius provided by RS exhibits a diminishing trend with the expansion of the input dimension $d$, proportionally decreasing at a rate of $1/\sqrt{d}$. This paper explores the feasibility of providing ${\ell_2}$ certified robustness for high-dimensional input through the utilization of dual smoothing in the lower-dimensional space. The proposed Dual Randomized Smoothing (DRS) down-samples the input image into two sub-images and smooths the two sub-images in lower dimensions. Theoretically, we prove that DRS guarantees a tight ${\ell_2}$ certified robustness radius for the original input and reveal that DRS attains a superior upper bound on the ${\ell_2}$ robustness radius, which decreases proportionally at a rate of $(1/\sqrt m + 1/\sqrt n )$ with $m+n=d$. Extensive experiments demonstrate the generalizability and effectiveness of DRS, which exhibits a notable capability to integrate with established methodologies, yielding substantial improvements in both accuracy and ${\ell_2}$ certified robustness baselines of RS on the CIFAR-10 and ImageNet datasets. Code is available at https://github.com/xiasong0501/DRS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google