CGDTest: A Constrained Gradient Descent Algorithm for Testing Neural Networks

要約

タイトル：ニューラルネットワークをテストするための制約付き勾配降下アルゴリズムCGDTest

要約：
– CGDTestは、深層ニューラルネットワーク(DNN)の安全性や堅牢性の問題を暴露するための新しいテストアルゴリズムです。
– CGDアルゴリズムは、勾配降下法(GD)に基づくもので、ユーザーが望む入力の種類を特徴づける論理的なプロパティを指定することもできます。
– CGDTestは、$\ell_p$ ballベースの敵対的な堅牢性だけでなく、偽装やフローなどのより豊富なプロパティに対するDNNのテストを可能にすることによって、他の類似のDNNテストツールとは異なります。
– CGDTestは、視覚およびNLPの文脈で32の最先端の手法と比較し、CGDTestの有用性と強力さを実験的に示しています。
– CGDTestは、パラメータ数が1億3800万個の非常に大きな実世界モデルに適用でき、様々なモデルアーキテクチャをテストすることができます。そして、CGDTestは、$\ell_p$ ballベースの敵対的な堅牢性のテストにおいて、パフォーマンスを改善しています。

要約(オリジナル)

In this paper, we propose a new Deep Neural Network (DNN) testing algorithm called the Constrained Gradient Descent (CGD) method, and an implementation we call CGDTest aimed at exposing security and robustness issues such as adversarial robustness and bias in DNNs. Our CGD algorithm is a gradient-descent (GD) method, with the twist that the user can also specify logical properties that characterize the kinds of inputs that the user may want. This functionality sets CGDTest apart from other similar DNN testing tools since it allows users to specify logical constraints to test DNNs not only for $\ell_p$ ball-based adversarial robustness but, more importantly, includes richer properties such as disguised and flow adversarial constraints, as well as adversarial robustness in the NLP domain. We showcase the utility and power of CGDTest via extensive experimentation in the context of vision and NLP domains, comparing against 32 state-of-the-art methods over these diverse domains. Our results indicate that CGDTest outperforms state-of-the-art testing tools for $\ell_p$ ball-based adversarial robustness, and is significantly superior in testing for other adversarial robustness, with improvements in PAR2 scores of over 1500% in some cases over the next best tool. Our evaluation shows that our CGD method outperforms competing methods we compared against in terms of expressibility (i.e., a rich constraint language and concomitant tool support to express a wide variety of properties), scalability (i.e., can be applied to very large real-world models with up to 138 million parameters), and generality (i.e., can be used to test a plethora of model architectures).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI