Upper and lower bounds for the Lipschitz constant of random neural networks

要約

ニューラルネットワークは、入力の小さな敵対的な摂動に対して非常に敏感であることが、経験的研究によって広く実証されている。このようないわゆる敵対的な例に対するワーストケースのロバスト性は、ニューラルネットワークのリプシッツ定数によって定量化できる。本論文では、ランダムReLUニューラルネットワークのリプシッツ定数の上界と下界を研究する。具体的には、重みとバイアスがHe初期化の一般化に従うと仮定し、バイアスの一般的な対称分布が許される。浅いニューラルネットワークについては、絶対数値定数までのリプシッツ定数を特徴付ける。深さが固定され、幅が十分に大きいディープネットワークでは、我々の確立した境界は幅の対数倍で異なる。

要約(オリジナル)

Empirical studies have widely demonstrated that neural networks are highly sensitive to small, adversarial perturbations of the input. The worst-case robustness against these so-called adversarial examples can be quantified by the Lipschitz constant of the neural network. In this paper, we study upper and lower bounds for the Lipschitz constant of random ReLU neural networks. Specifically, we assume that the weights and biases follow a generalization of the He initialization, where general symmetric distributions for the biases are permitted. For shallow neural networks, we characterize the Lipschitz constant up to an absolute numerical constant. For deep networks with fixed depth and sufficiently large width, our established bounds differ by a factor that is logarithmic in the width.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL