On the Lipschitz constant of random neural networks

要約

実証研究は、ニューラル ネットワークが入力の小さな敵対的な摂動に非常に敏感であることを広く実証しています。
これらのいわゆる敵対的な例に対する最悪の場合の堅牢性は、ニューラル ネットワークのリプシッツ定数によって定量化できます。
ただし、この量に関する理論的結果は文献にほとんど存在しません。
この論文では、ランダム ReLU ニューラル ネットワーク、つまり重みがランダムに選択され、ReLU 活性化関数を使用するニューラル ネットワークのリプシッツ定数の研究を開始します。
浅いニューラル ネットワークの場合、リプシッツ定数を絶対数値定数まで特徴付けます。
さらに、十分に広い幅のディープ ニューラル ネットワークまで分析を拡張し、リプシッツ定数の上限と下限を証明します。
これらの境界は、深さに応じた対数係数に一致します。

要約(オリジナル)

Empirical studies have widely demonstrated that neural networks are highly sensitive to small, adversarial perturbations of the input. The worst-case robustness against these so-called adversarial examples can be quantified by the Lipschitz constant of the neural network. However, only few theoretical results regarding this quantity exist in the literature. In this paper, we initiate the study of the Lipschitz constant of random ReLU neural networks, i.e., neural networks whose weights are chosen at random and which employ the ReLU activation function. For shallow neural networks, we characterize the Lipschitz constant up to an absolute numerical constant. Moreover, we extend our analysis to deep neural networks of sufficiently large width where we prove upper and lower bounds for the Lipschitz constant. These bounds match up to a logarithmic factor that depends on the depth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google