Scaling in Depth: Unlocking Robustness Certification on ImageNet

要約

リプシッツベースの手法により、決定論的な保証を持つ証明可能なロバストな深層学習が期待されているにもかかわらず、現在の最先端の結果は、CIFAR-10のような低次元データ上のフィードフォワードコンボリューショナルネットワーク（ConvNets）に限られています。本論文では、証明可能なロバストなトレーニングをより大規模でより深いモデルに拡張するための戦略について検討する。ディープネットワークの認証における重要な課題は、ResNetやViTアーキテクチャに見られる残差ブロックのリプシッツ境界を効率的に計算することである。我々は、従来のResNetのリプシッツ定数を高速に束縛する方法は緩いことを示し、新しい残差ブロックを設計することでこれに対処する方法を示し、⽯⽯ResNet（LiResNet）アーキテクチャに導きます。さらに、EMMA（Efficient Margin MAximization）という損失関数を導入し、最悪クラスの敵対例を同時に罰することでロバストな学習を安定させます。これらの貢献により、CIFAR-10/100とTiny-ImageNetにおいて、$ell_2$摂動下でのロバスト精度を新たに達成しました。さらに、初めて高速な決定論的ロバスト性保証をImageNetにスケールアップすることができ、ロバスト学習へのこのアプローチが実世界のアプリケーションに適用できることを実証しました。 私たちのコードはGithubで公開しています：\url{https://github.com/klasleino/gloro}。

要約(オリジナル)

Despite the promise of Lipschitz-based methods for provably-robust deep learning with deterministic guarantees, current state-of-the-art results are limited to feed-forward Convolutional Networks (ConvNets) on low-dimensional data, such as CIFAR-10. This paper investigates strategies for expanding certifiably robust training to larger, deeper models. A key challenge in certifying deep networks is efficient calculation of the Lipschitz bound for residual blocks found in ResNet and ViT architectures. We show that fast ways of bounding the Lipschitz constant for conventional ResNets are loose, and show how to address this by designing a new residual block, leading to the \emph{Linear ResNet} (LiResNet) architecture. We then introduce \emph{Efficient Margin MAximization} (EMMA), a loss function that stabilizes robust training by simultaneously penalizing worst-case adversarial examples from \emph{all} classes. Together, these contributions yield new \emph{state-of-the-art} robust accuracy on CIFAR-10/100 and Tiny-ImageNet under $\ell_2$ perturbations. Moreover, for the first time, we are able to scale up fast deterministic robustness guarantees to ImageNet, demonstrating that this approach to robust learning can be applied to real-world applications. We release our code on Github: \url{https://github.com/klasleino/gloro}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL