Estimating the Robustness Radius for Randomized Smoothing with 100$\times$ Sample Efficiency

要約

ランダム化スムージング (RS) は、ランダム ノイズを追加して入力の複数のバリエーションを作成し、その後コンセンサスを決定することで、ディープ ニューラル ネットワーク (DNN) の予測の堅牢性を向上させるために使用されています。
RS 対応 DNN がサンプリングされた入力ドメインで有効かどうかを理解するには、運用設計ドメイン内のデータ ポイントをサンプリングし、堅牢性半径に関するポイントごとの証明書を取得し、それを事前に定義された許容基準と比較することが必須です。
したがって、特定のデータ ポイントに対するポイントごとの堅牢性証明書を比較的コスト効率よく取得できるようにすることが重要です。
この研究は、サンプル数を 1 桁または 2 桁削減しても、同じ信頼度でわずかに小さいロバストネス半径 (通常は最大 20% の半径削減) を計算できることを示しています。
標準的な CIFAR-10 および ImageNet データセットで有望な結果を実験的に示しながら、現象を説明するための数学的基礎を提供します。

要約(オリジナル)

Randomized smoothing (RS) has successfully been used to improve the robustness of predictions for deep neural networks (DNNs) by adding random noise to create multiple variations of an input, followed by deciding the consensus. To understand if an RS-enabled DNN is effective in the sampled input domains, it is mandatory to sample data points within the operational design domain, acquire the point-wise certificate regarding robustness radius, and compare it with pre-defined acceptance criteria. Consequently, ensuring that a point-wise robustness certificate for any given data point is obtained relatively cost-effectively is crucial. This work demonstrates that reducing the number of samples by one or two orders of magnitude can still enable the computation of a slightly smaller robustness radius (commonly ~20% radius reduction) with the same confidence. We provide the mathematical foundation for explaining the phenomenon while experimentally showing promising results on the standard CIFAR-10 and ImageNet datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google