On Preimage Approximation for Neural Networks

要約

タイトル：ニューラルネットワークの前像近似について

要約：
– ニューラルネットワークの検証では、主にローカルな強靭性に焦点が当てられている。
– しかし、しばしば、ある性質が入力ドメイン全体で成立するかどうかや、その性質がどの割合の入力について正しいかを知ることが重要である。
– exact preimage generationによって、ニューラルネットワークの等価表現を構築することで、定量的なグローバルな強靭性の検証を支援できるが、規模が大きい場合には解決できない。
– 本研究では、線形緩和に基づくシンボリックな前像のアンダーアプロキシメーションを生成するための効率的で実用的なアルゴリズムを提案する。
– アルゴリズムは、入力領域をサブ領域に分割し、ニューラルネットワークの緩和境界がより緻密になるように反復的に体積の近似誤差を最小化する。
– さらに、サンプリングと微分可能な近似を用いて、分割する領域を優先し、緩和パラメータを最適化することで、より迅速な改善とコンパクトなアンダーアプロキシメーションを実現する。
– 評価結果は、提案手法が正確な手法よりも前像近似を生成するのにかなり時間がかからず、exact preimage generationが解決不能なニューラルネットワークコントローラにもスケールすることを示している。
– また、我々の手法の応用例として定量的なグローバル検証を示している。

要約(オリジナル)

Neural network verification mainly focuses on local robustness properties. However, often it is important to know whether a given property holds globally for the whole input domain, and if not then for what proportion of the input the property is true. While exact preimage generation can construct an equivalent representation of neural networks that can aid such (quantitative) global robustness verification, it is intractable at scale. In this work, we propose an efficient and practical anytime algorithm for generating symbolic under-approximations of the preimage of neural networks based on linear relaxation. Our algorithm iteratively minimizes the volume approximation error by partitioning the input region into subregions, where the neural network relaxation bounds become tighter. We further employ sampling and differentiable approximations to the volume in order to prioritize regions to split and optimize the parameters of the relaxation, leading to faster improvement and more compact under-approximations. Evaluation results demonstrate that our approach is able to generate preimage approximations significantly faster than exact methods and scales to neural network controllers for which exact preimage generation is intractable. We also demonstrate an application of our approach to quantitative global verification.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI