gRoMA: a Tool for Measuring the Global Robustness of Deep Neural Networks

要約

ディープ ニューラル ネットワーク (DNN) は最先端テクノロジーの最前線にあり、さまざまな複雑なタスクで目覚ましいパフォーマンスを達成しています。
それにもかかわらず、航空宇宙や自動車分野などの安全性が重要なシステムへの統合は、敵対的な入力の脅威、つまり DNN に重大な間違いを引き起こす可能性のある入力の混乱により、重大な課題を引き起こします。
複数の研究により、最新の DNN でも敵対的な入力の影響を受けやすいことが実証されており、重要な環境で DNN を展開できるようにするには、このリスクを測定して軽減する必要があります。
ここでは、DNN のグローバル カテゴリ堅牢性を測定するための確率的アプローチを実装する革新的でスケーラブルなツールである gRoMA (グローバル ロバストネス測定および評価) を紹介します。
具体的には、gRoMA は、特定の出力カテゴリに対する敵対的な入力に遭遇する確率を測定します。
私たちのツールは、事前トレーニングされたブラックボックス分類 DNN 上で動作し、対象の出力カテゴリに属する​​入力サンプルを生成します。
これらの入力を中心とした敵対的入力に対する DNN の感受性を測定し、その結果を集計して、小さな限界のある統計誤差まで DNN の全体的なグローバル カテゴリの堅牢性を推測します。
CIFAR10 データセット上の人気のある Densenet DNN モデルでツールを評価します。
私たちの結果は、さまざまな出力カテゴリーの堅牢性に大きなギャップがあることを明らかにしています。
この実験は、私たちのアプローチの有用性とスケーラビリティ、および対象となる重要なシステム内に DNN を展開できる可能性を示しています。

要約(オリジナル)

Deep neural networks (DNNs) are at the forefront of cutting-edge technology, and have been achieving remarkable performance in a variety of complex tasks. Nevertheless, their integration into safety-critical systems, such as in the aerospace or automotive domains, poses a significant challenge due to the threat of adversarial inputs: perturbations in inputs that might cause the DNN to make grievous mistakes. Multiple studies have demonstrated that even modern DNNs are susceptible to adversarial inputs, and this risk must thus be measured and mitigated to allow the deployment of DNNs in critical settings. Here, we present gRoMA (global Robustness Measurement and Assessment), an innovative and scalable tool that implements a probabilistic approach to measure the global categorial robustness of a DNN. Specifically, gRoMA measures the probability of encountering adversarial inputs for a specific output category. Our tool operates on pre-trained, black-box classification DNNs, and generates input samples belonging to an output category of interest. It measures the DNN’s susceptibility to adversarial inputs around these inputs, and aggregates the results to infer the overall global categorial robustness of the DNN up to some small bounded statistical error. We evaluate our tool on the popular Densenet DNN model over the CIFAR10 dataset. Our results reveal significant gaps in the robustness of the different output categories. This experiment demonstrates the usefulness and scalability of our approach and its potential for allowing DNNs to be deployed within critical systems of interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google