Model-Agnostic Reachability Analysis on Deep Neural Networks

要約

【タイトル】深層ニューラルネットワークに対するモデル非依存到達可能性解析

【要約】
– モデルの検証は、安全上重要なシステムの形式的解析において重要な役割を果たす。
– 現在のほとんどの検証手法は、深層ニューラルネットワーク（DNN）に対して特定の要件を持っています。例えば、前向きニューラルネットワーク（FNN）のような特定のネットワークカテゴリを対象とすることが多いです。または、特定の活性化関数を持つネットワーク（例えば、RdLU）を対象とすることが多いです。
– 本論文では、FNN、再帰型ニューラルネットワーク（RNN）、またはそれらの混合物に適用できるモデル非依存の検証フレームワークであるDeepAgnを開発し、Lipschitz連続性の仮定の下、DNNの到達可能性を新しい最適化スキームに基づいて分析します。 DeepAgnは、レイヤーやパラメータなどのネットワークの内部構造にアクセスする必要はありません。
– 到達可能性分析により、DeepAgnは、与えられた入力に対する最大安全半径の計算やグラウンドトゥースの敵対的な例の生成など、いくつかのよく知られた堅牢性問題に取り組むことができます。
– さらに、他の最先端の検証手法よりも、FNN、RNNのいずれも非常に深い層と数百万のニューロンを持つ広範なクラスの深層ニューラルネットワークを処理する能力と効率を実証しています。

要約(オリジナル)

Verification plays an essential role in the formal analysis of safety-critical systems. Most current verification methods have specific requirements when working on Deep Neural Networks (DNNs). They either target one particular network category, e.g., Feedforward Neural Networks (FNNs), or networks with specific activation functions, e.g., RdLU. In this paper, we develop a model-agnostic verification framework, called DeepAgn, and show that it can be applied to FNNs, Recurrent Neural Networks (RNNs), or a mixture of both. Under the assumption of Lipschitz continuity, DeepAgn analyses the reachability of DNNs based on a novel optimisation scheme with a global convergence guarantee. It does not require access to the network’s internal structures, such as layers and parameters. Through reachability analysis, DeepAgn can tackle several well-known robustness problems, including computing the maximum safe radius for a given input, and generating the ground-truth adversarial examples. We also empirically demonstrate DeepAgn’s superior capability and efficiency in handling a broader class of deep neural networks, including both FNNs, and RNNs with very deep layers and millions of neurons, than other state-of-the-art verification approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI