Incremental Verification of Neural Networks

要約

【タイトル】ニューラルネットワークの増分検証
【要約】
– 深層ニューラルネットワーク(DNNs)の完全な検証は、望ましい信頼性のある特性(例：堅牢性、公平性)が無限の入力セットで満たされているかどうかを正確に判断できる。
– しかし、実際には、DNNがその推論速度や精度を向上するために更新された場合、完全検証ツールを毎回スクラッチから再実行する必要があるため、効率が悪くなる。
– そこで、新しい一般的なインクリメンタルで完全なDNN検証フレームワークを提案する。これは、新しい理論・データ構造・アルゴリズムに基づいて設計されたものである。
– 提案手法をIVANというツールに実装し、MNISTおよびCIFAR10の分類器で課題を解決するための幾何平均スピードアップ率が2.4倍、ACAS-XU分類器では最新のベースラインに対する幾何平均スピードアップ率が3.8倍実現された。

【要点】
– DNNの完全検証は、望ましい信頼性のある特性が無限の入力セットで満たされているかどうかを正確に判断できる
– DNNが更新された場合、完全検証ツールを毎回スクラッチから再実行する必要があるため、効率が悪くなる。
– インクリメンタルで完全なDNN検証フレームワークを提案する
– 新しい理論・データ構造・アルゴリズムに基づいて設計された
– IVANというツールに提案手法を実装し、MNISTおよびCIFAR10の分類器で課題を解決するための幾何平均スピードアップ率が2.4倍、ACAS-XU分類器では最新のベースラインに対する幾何平均スピードアップ率が3.8倍実現された。

要約(オリジナル)

Complete verification of deep neural networks (DNNs) can exactly determine whether the DNN satisfies a desired trustworthy property (e.g., robustness, fairness) on an infinite set of inputs or not. Despite the tremendous progress to improve the scalability of complete verifiers over the years on individual DNNs, they are inherently inefficient when a deployed DNN is updated to improve its inference speed or accuracy. The inefficiency is because the expensive verifier needs to be run from scratch on the updated DNN. To improve efficiency, we propose a new, general framework for incremental and complete DNN verification based on the design of novel theory, data structure, and algorithms. Our contributions implemented in a tool named IVAN yield an overall geometric mean speedup of 2.4x for verifying challenging MNIST and CIFAR10 classifiers and a geometric mean speedup of 3.8x for the ACAS-XU classifiers over the state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI