Upper and lower bounds for the Lipschitz constant of random neural networks

要約

実証研究は、ニューラル ネットワークが入力の小さな敵対的な摂動に非常に敏感であることを広く実証しています。
これらのいわゆる敵対的な例に対する最悪の場合の堅牢性は、ニューラル ネットワークのリプシッツ定数によって定量化できます。
この論文では、ランダム ReLU ニューラル ネットワークのリプシッツ定数の上限と下限を研究します。
具体的には、重みとバイアスが He 初期化の一般化に従うと仮定し、バイアスの一般的な対称分布が許可されます。
浅いニューラル ネットワークの場合、リプシッツ定数を絶対数値定数まで特徴付けます。
深さが固定され、幅が十分に大きいディープネットワークの場合、確立された上限は、幅の対数係数だけ下限よりも大きくなります。

要約(オリジナル)

Empirical studies have widely demonstrated that neural networks are highly sensitive to small, adversarial perturbations of the input. The worst-case robustness against these so-called adversarial examples can be quantified by the Lipschitz constant of the neural network. In this paper, we study upper and lower bounds for the Lipschitz constant of random ReLU neural networks. Specifically, we assume that the weights and biases follow a generalization of the He initialization, where general symmetric distributions for the biases are permitted. For shallow neural networks, we characterize the Lipschitz constant up to an absolute numerical constant. For deep networks with fixed depth and sufficiently large width, our established upper bound is larger than the lower bound by a factor that is logarithmic in the width.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google