Exact Upper and Lower Bounds for the Output Distribution of Neural Networks with Random Inputs

要約

Noisy（確率的）入力の対象となるサポート全体にわたって、ニューラルネットワーク（NN）の出力（NN）の累積分布関数（CDF）の正確な上限と下限を導き出します。
解像度が増加するにつれて、上限と下限はそのドメインを介して真のCDFに収束します。
私たちの方法は、連続的に単調な区分的に2回の連続的に微分可能な活性化関数（例：Relu、Tanh、Softmax）および畳み込みアプローチの範囲を超えた畳み込みNNSを使用して、Feedforward NNに適用されます。
私たちのアプローチの斬新で道具的なツールは、一般的なNNSをrelu nnsと結び付けることです。
次に、Relu NNベースの境界を使用して、NN出力のCDFの上限と下限を導出します。
実験は、この方法が、そのサポートよりも予測出力分布の保証境界をもたらし、競合するアプローチとは対照的に、正確なエラー保証を提供することを示しています。

要約(オリジナル)

We derive exact upper and lower bounds for the cumulative distribution function (cdf) of the output of a neural network (NN) over its entire support subject to noisy (stochastic) inputs. The upper and lower bounds converge to the true cdf over its domain as the resolution increases. Our method applies to any feedforward NN using continuous monotonic piecewise twice continuously differentiable activation functions (e.g., ReLU, tanh and softmax) and convolutional NNs, which were beyond the scope of competing approaches. The novelty and instrumental tool of our approach is to bound general NNs with ReLU NNs. The ReLU NN-based bounds are then used to derive the upper and lower bounds of the cdf of the NN output. Experiments demonstrate that our method delivers guaranteed bounds of the predictive output distribution over its support, thus providing exact error guarantees, in contrast to competing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google