The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing

要約

ディープ ニューラル ネットワークの実際のアプリケーションは、ノイズの多い入力や敵対的な攻撃に直面した場合、不安定な予測によって妨げられます。
この文脈における認定された半径は、モデルの堅牢性を示す重要な指標です。
しかし、関連する認定された半径を使用して効率的な分類器を設計するにはどうすればよいでしょうか?
ランダム化平滑化は、入力へのノイズ注入に依存して平滑化された堅牢な分類子を取得することで、有望なフレームワークを提供します。
この論文では、まず、ランダム化平滑化手順の推定におけるモンテカルロ サンプリングによって導入された分散が、分類器の他の 2 つの重要な特性、\textit{つまり、そのリプシッツ定数とマージンと密接に相互作用することを示します。
より正確には、私たちの研究は、平滑化された分類器と経験的分散の両方に対する基本分類器のリプシッツ定数の二重の影響を強調しています。
証明されたロバスト半径を増やすために、基本分類器のロジットを確率ベクトルに変換して分散マージンのトレードオフを利用する別の方法を導入します。
バーンスタインの濃度不等式と強化されたリプシッツ境界を利用して、ランダム化された平滑化を行います。
実験結果は、現在の最先端の方法と比較して認証精度が大幅に向上していることを示しています。
当社の新しい認証手順により、ランダム化された平滑化を備えた事前トレーニング済みモデルを使用できるようになり、ゼロショット方式で現在の認証範囲を効果的に改善できます。

要約(オリジナル)

Real-life applications of deep neural networks are hindered by their unsteady predictions when faced with noisy inputs and adversarial attacks. The certified radius in this context is a crucial indicator of the robustness of models. However how to design an efficient classifier with an associated certified radius? Randomized smoothing provides a promising framework by relying on noise injection into the inputs to obtain a smoothed and robust classifier. In this paper, we first show that the variance introduced by the Monte-Carlo sampling in the randomized smoothing procedure estimate closely interacts with two other important properties of the classifier, \textit{i.e.} its Lipschitz constant and margin. More precisely, our work emphasizes the dual impact of the Lipschitz constant of the base classifier, on both the smoothed classifier and the empirical variance. To increase the certified robust radius, we introduce a different way to convert logits to probability vectors for the base classifier to leverage the variance-margin trade-off. We leverage the use of Bernstein’s concentration inequality along with enhanced Lipschitz bounds for randomized smoothing. Experimental results show a significant improvement in certified accuracy compared to current state-of-the-art methods. Our novel certification procedure allows us to use pre-trained models with randomized smoothing, effectively improving the current certification radius in a zero-shot manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google