Expediting Neural Network Verification via Network Reduction

要約

重要なアプリケーションでネットワークが正しく機能することを保証するディープ ニューラル ネットワークの安全性を検証するために、幅広い検証方法が提案されています。
しかし、多くのよく知られた検証ツールは依然として、複雑なネットワーク アーキテクチャと大規模なネットワーク サイズに対応できません。
本研究では、検証前の前処理手法としてネットワーク削減手法を提案します。
提案手法は、安定した ReLU ニューロンを削除し、ほとんどの検証ツールで処理できる ReLU 層と Affine 層からなる逐次ニューラル ネットワークに変換することでニューラル ネットワークを削減します。
私たちは、alpha-beta-crown、VeriNet、PRIMA などの最先端の完全および不完全検証ツール上で削減技術をインスタンス化します。
大規模なベンチマークセットでの実験の結果、提案された手法によりニューラルネットワークが大幅に削減され、既存の検証ツールが高速化できることがわかりました。
さらに、実験結果は、ネットワーク削減により、既存の検証ツールを逐次ニューラル ネットワークに削減することで、多くのネットワーク上での可用性を向上できることも示しています。

要約(オリジナル)

A wide range of verification methods have been proposed to verify the safety properties of deep neural networks ensuring that the networks function correctly in critical applications. However, many well-known verification tools still struggle with complicated network architectures and large network sizes. In this work, we propose a network reduction technique as a pre-processing method prior to verification. The proposed method reduces neural networks via eliminating stable ReLU neurons, and transforming them into a sequential neural network consisting of ReLU and Affine layers which can be handled by the most verification tools. We instantiate the reduction technique on the state-of-the-art complete and incomplete verification tools, including alpha-beta-crown, VeriNet and PRIMA. Our experiments on a large set of benchmarks indicate that the proposed technique can significantly reduce neural networks and speed up existing verification tools. Furthermore, the experiment results also show that network reduction can improve the availability of existing verification tools on many networks by reducing them into sequential neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google