Neural Network Verification with Branch-and-Bound for General Nonlinearities

要約

分枝限定 (BaB) は、ニューラル ネットワーク (NN) 検証に最も効果的な方法の 1 つです。
ただし、BaB に関する既存の研究は、主に区分的線形活性化を伴う NN、特に ReLU ネットワークに焦点を当ててきました。
この論文では、線形境界伝播に基づいて一般的な計算グラフの一般的な非線形性に対して BaB を実行するための GenBaB という名前の一般的なフレームワークを開発します。
どのニューロンを分岐するかを決定するために、線形境界をショートカットとして活用し、分岐後の潜在的な改善を効率的に推定する新しい分岐ヒューリスティックを設計します。
一般的な非線形関数の重要な分岐点を決定するために、オフラインで分岐点を最適化することを提案します。これは、ルックアップ テーブルを使用した検証中に効率的に利用できます。
私たちは、Sigmoid、Tanh、Sine、GeLU などの活性化関数を備えたネットワークや、LSTM やビジョン トランスフォーマーの乗算などの多次元非線形演算を含むネットワークを含む、幅広い NN の検証における GenBaB の有効性を実証します。
私たちのフレームワークでは、一般的な非線形計算グラフの検証も可能で、特に AC 最適電力流 (ACOPF) など、単純なニューラル ネットワークを超えた検証アプリケーションが可能になります。
GenBaB は、第 4 回国際ニューラル ネットワーク検証コンペティション (VNN-COMP 2023) の優勝者である最新の $\alpha,\!\beta$-CROWN の一部です。

要約(オリジナル)

Branch-and-bound (BaB) is among the most effective methods for neural network (NN) verification. However, existing works on BaB have mostly focused on NNs with piecewise linear activations, especially ReLU networks. In this paper, we develop a general framework, named GenBaB, to conduct BaB for general nonlinearities in general computational graphs based on linear bound propagation. To decide which neuron to branch, we design a new branching heuristic which leverages linear bounds as shortcuts to efficiently estimate the potential improvement after branching. To decide nontrivial branching points for general nonlinear functions, we propose to optimize branching points offline, which can be efficiently leveraged during verification with a lookup table. We demonstrate the effectiveness of our GenBaB on verifying a wide range of NNs, including networks with activation functions such as Sigmoid, Tanh, Sine and GeLU, as well as networks involving multi-dimensional nonlinear operations such as multiplications in LSTMs and Vision Transformers. Our framework also allows the verification of general nonlinear computation graphs and enables verification applications beyond simple neural networks, particularly for AC Optimal Power Flow (ACOPF). GenBaB is part of the latest $\alpha,\!\beta$-CROWN, the winner of the 4th International Verification of Neural Networks Competition (VNN-COMP 2023).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google