Expressivity of ReLU-Networks under Convex Relaxations

要約

凸緩和は、安全性が証明されたニューラル ネットワークをトレーニングおよび証明するための重要な要素です。
しかし、大幅な進歩にもかかわらず、標準ネットワークとの精度の差は大きく、よく理解されていないままであり、これが凸緩和の根本的な限界によるものなのかどうかという疑問が生じています。
この疑問を調査する初期の研究では、単純で広く使用されている IBP 緩和に焦点を当てました。
これにより、一部の単変量凸連続区分線形 (CPWL) 関数は、IBP 分析が正確であるような ReLU ネットワークではエンコードできないことが明らかになりました。
この制限がより高度な凸緩和にも共通しているかどうかを調べるために、一般的に使用されているすべての凸緩和における ReLU ネットワークの表現力に関する最初の詳細な研究を実施します。
我々は、(i) より高度な緩和により、より大きなクラスの一変量関数を正確に解析可能な ReLU ネットワークとして表現できること、(ii) より正確な緩和により、同じ関数をエンコードする ReLU ネットワークの解空間を指数関数的に拡大できること、および (iii)
最も正確な単一ニューロン緩和を使用したとしても、多変量、凸状、単調 CPWL 関数を表現する、正確に解析可能な ReLU ネットワークを構築することは不可能です。

要約(オリジナル)

Convex relaxations are a key component of training and certifying provably safe neural networks. However, despite substantial progress, a wide and poorly understood accuracy gap to standard networks remains, raising the question of whether this is due to fundamental limitations of convex relaxations. Initial work investigating this question focused on the simple and widely used IBP relaxation. It revealed that some univariate, convex, continuous piecewise linear (CPWL) functions cannot be encoded by any ReLU network such that its IBP-analysis is precise. To explore whether this limitation is shared by more advanced convex relaxations, we conduct the first in-depth study on the expressive power of ReLU networks across all commonly used convex relaxations. We show that: (i) more advanced relaxations allow a larger class of univariate functions to be expressed as precisely analyzable ReLU networks, (ii) more precise relaxations can allow exponentially larger solution spaces of ReLU networks encoding the same functions, and (iii) even using the most precise single-neuron relaxations, it is impossible to construct precisely analyzable ReLU networks that express multivariate, convex, monotone CPWL functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google