Compositional Curvature Bounds for Deep Neural Networks

要約

安全性が重要なアプリケーションにおけるニューラル ネットワークの広範な使用を脅かす主な課題は、敵対的な攻撃に対する脆弱性です。
この論文では、敵対的な摂動に対するロバスト性に焦点を当て、連続微分可能なディープ ニューラル ネットワークの 2 次の動作を研究します。
まず、ローカル勾配と 2 次導関数 (曲率定数) の上限を利用して、深層分類器の堅牢性と攻撃証明書の理論的分析を提供します。
次に、ニューラル ネットワークの 2 次導関数の証明可能な上限を分析的に計算する新しいアルゴリズムを紹介します。
このアルゴリズムは、モデルの構成構造を活用して、曲率の境界を層ごとに伝播させ、スケーラブルなモジュール式アプローチを実現します。
提案された境界は、トレーニング中にニューラル ネットワークの曲率を制御するための微分可能な正則化機能として機能し、それによってロバスト性が向上します。
最後に、MNIST および CIFAR-10 データセットを使用して、分類タスクに対するこの方法の有効性を実証します。

要約(オリジナル)

A key challenge that threatens the widespread use of neural networks in safety-critical applications is their vulnerability to adversarial attacks. In this paper, we study the second-order behavior of continuously differentiable deep neural networks, focusing on robustness against adversarial perturbations. First, we provide a theoretical analysis of robustness and attack certificates for deep classifiers by leveraging local gradients and upper bounds on the second derivative (curvature constant). Next, we introduce a novel algorithm to analytically compute provable upper bounds on the second derivative of neural networks. This algorithm leverages the compositional structure of the model to propagate the curvature bound layer-by-layer, giving rise to a scalable and modular approach. The proposed bound can serve as a differentiable regularizer to control the curvature of neural networks during training, thereby enhancing robustness. Finally, we demonstrate the efficacy of our method on classification tasks using the MNIST and CIFAR-10 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google