Certified Robustness via Dynamic Margin Maximization and Improved Lipschitz Regularization

要約

敵対的な摂動に対する深い分類器の堅牢性を改善するために、より良い堅牢性特性（Lippschitz-Cappedネットワークなど）を備えた新しいアーキテクチャの設計、トレーニングプロセス自体の修正（Min-Max最適化、制約学習、正規化など）など、多くのアプローチが提案されています。
ただし、これらのアプローチは、入力（機能）スペースのマージンを増やすのに効果的ではない場合があります。
その結果、入力スペースの決定境界を直接操作できるトレーニング手順の開発に関心が高まっています。
この論文では、脆弱な方向に沿ってモデルのリプシッツ定数を正規化しながら、出力（ロジット）スペースのマージンを増やすことを目的とする堅牢なトレーニングアルゴリズムを開発することにより、このカテゴリの最近の開発に基づいて構築されます。
これらの2つの目的は、入力スペースのより大きなマージンを直接促進できることを示しています。
この目的のために、ニューラルネットワークのリプシッツ定数の保証された微分上の上限を正確かつ効率的に計算するためのスケーラブルな方法を開発します。
境界の相対的な精度は、過度の正則化を防ぎ、決定境界のより直接的な操作を可能にします。
さらに、私たちのLippschitzの境界アルゴリズムは、活性化層の単調性とリプシッツの連続性を活用し、結果の境界を使用して、リプシッツ定数に制御可能な境界を持つ新しい層を設計できます。
MNIST、CIFAR-10、およびTiny-Imagenetデータセットに関する実験では、提案されているアルゴリズムが最先端と比較して競合的に改善された結果を得ることが確認されています。

要約(オリジナル)

To improve the robustness of deep classifiers against adversarial perturbations, many approaches have been proposed, such as designing new architectures with better robustness properties (e.g., Lipschitz-capped networks), or modifying the training process itself (e.g., min-max optimization, constrained learning, or regularization). These approaches, however, might not be effective at increasing the margin in the input (feature) space. As a result, there has been an increasing interest in developing training procedures that can directly manipulate the decision boundary in the input space. In this paper, we build upon recent developments in this category by developing a robust training algorithm whose objective is to increase the margin in the output (logit) space while regularizing the Lipschitz constant of the model along vulnerable directions. We show that these two objectives can directly promote larger margins in the input space. To this end, we develop a scalable method for calculating guaranteed differentiable upper bounds on the Lipschitz constant of neural networks accurately and efficiently. The relative accuracy of the bounds prevents excessive regularization and allows for more direct manipulation of the decision boundary. Furthermore, our Lipschitz bounding algorithm exploits the monotonicity and Lipschitz continuity of the activation layers, and the resulting bounds can be used to design new layers with controllable bounds on their Lipschitz constant. Experiments on the MNIST, CIFAR-10, and Tiny-ImageNet data sets verify that our proposed algorithm obtains competitively improved results compared to the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google