要約
信頼できる仕様を持つことは、AI システムの検証可能な正確性、堅牢性、および解釈可能性を達成する上で避けられない課題です。
ニューラル ネットワークの既存の仕様は、仕様としてのデータのパラダイムにあります。
つまり、参照入力を中心とする局所近傍は、正しい (またはロバスト) と見なされます。
既存の仕様は、多くの研究分野で重要な問題である敵対的ロバスト性の検証に貢献していますが、私たちの実証研究では、これらの検証された領域はやや狭いため、テスト セットの入力を検証できず、実際のアプリケーションでは実用的ではないことが示されています。
この目的のために、仕様としてのニューラル表現と呼ばれる仕様の新しいファミリを提案します。これは、入力データではなく、ニューラル ネットワークの固有の情報 (ニューラル アクティベーション パターン (NAP)) を使用して、ニューラル ネットワーク予測の正確性および/または堅牢性を指定します。
神経活性化パターンをマイニングするための単純な統計的アプローチを提示します。
発見された NAP の有効性を示すために、特定の NAP に対してさまざまなタイプの誤分類が発生しないことや、異なる NAP 間にあいまいさが存在しないことなど、いくつかの重要な特性を正式に検証します。
NAP を使用することで、MNIST のデータの 84% を再現しながら、入力空間の重要な領域を検証できることを示します。
さらに、検証可能な限界を CIFAR10 ベンチマークで 10 倍に押し上げることができます。
したがって、NAP は、ニューラル ネットワーク検証のためのより信頼性が高く拡張可能な仕様として使用できる可能性があると主張します。
要約(オリジナル)
Having reliable specifications is an unavoidable challenge in achieving verifiable correctness, robustness, and interpretability of AI systems. Existing specifications for neural networks are in the paradigm of data as specification. That is, the local neighborhood centering around a reference input is considered to be correct (or robust). While existing specifications contribute to verifying adversarial robustness, a significant problem in many research domains, our empirical study shows that those verified regions are somewhat tight, and thus fail to allow verification of test set inputs, making them impractical for some real-world applications. To this end, we propose a new family of specifications called neural representation as specification, which uses the intrinsic information of neural networks – neural activation patterns (NAPs), rather than input data to specify the correctness and/or robustness of neural network predictions. We present a simple statistical approach to mining neural activation patterns. To show the effectiveness of discovered NAPs, we formally verify several important properties, such as various types of misclassifications will never happen for a given NAP, and there is no ambiguity between different NAPs. We show that by using NAP, we can verify a significant region of the input space, while still recalling 84% of the data on MNIST. Moreover, we can push the verifiable bound to 10 times larger on the CIFAR10 benchmark. Thus, we argue that NAPs can potentially be used as a more reliable and extensible specification for neural network verification.
arxiv情報
| 著者 | Chuqin Geng,Nham Le,Xiaojie Xu,Zhaoyue Wang,Arie Gurfinkel,Xujie Si |
| 発行日 | 2023-03-17 16:35:00+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google