DeepKnowledge: Generalisation-Driven Deep Learning Testing

要約

DNN は前例のない成功を収めているにもかかわらず、データ配信の小さな変化に対して脆弱であることで知られており、その信頼性を評価できる効果的なテスト手法が必要です。
最近の DNN テストの進歩にも関わらず、トレーニング分布内のデータを超えて一般化および運用する DNN の能力を評価する体系的なテスト アプローチが不足しています。
私たちは、知識一般化理論に基づいた DNN ベースのシステムの体系的なテスト方法論である DeepKnowledge を使用してこのギャップに対処します。これは、DNN の堅牢性を強化し、「ブラック ボックス」モデルの残留リスクを軽減することを目的としています。
この理論に従って、DeepKnowledge は、知識伝達ニューロンと呼ばれるコアの計算 DNN ユニットがドメイン シフトの下で一般化できると仮定しています。
DeepKnowledge は、データ分布の変化を考慮した DNN のテスト活動に関する客観的な信頼度の測定を提供し、この情報を使用して一般化に基づいたテストの適切性基準を設定し、テスト セットの知識の伝達能力をチェックします。
複数のデータセットと最先端の敵対的生成技術にわたるいくつかの DNN の実証的評価は、DeepKnowledge の有用性と有効性、およびより信頼性の高い DNN のエンジニアリングをサポートするその能力を実証しています。
MNIST、SVHN、CIFAR などのいくつかのベンチマークで、敵対的攻撃を検出するための最先端のカバレッジ基準よりも最大 10 パーセントポイント向上したと報告しています。

要約(オリジナル)

Despite their unprecedented success, DNNs are notoriously fragile to small shifts in data distribution, demanding effective testing techniques that can assess their dependability. Despite recent advances in DNN testing, there is a lack of systematic testing approaches that assess the DNN’s capability to generalise and operate comparably beyond data in their training distribution. We address this gap with DeepKnowledge, a systematic testing methodology for DNN-based systems founded on the theory of knowledge generalisation, which aims to enhance DNN robustness and reduce the residual risk of ‘black box’ models. Conforming to this theory, DeepKnowledge posits that core computational DNN units, termed Transfer Knowledge neurons, can generalise under domain shift. DeepKnowledge provides an objective confidence measurement on testing activities of DNN given data distribution shifts and uses this information to instrument a generalisation-informed test adequacy criterion to check the transfer knowledge capacity of a test set. Our empirical evaluation of several DNNs, across multiple datasets and state-of-the-art adversarial generation techniques demonstrates the usefulness and effectiveness of DeepKnowledge and its ability to support the engineering of more dependable DNNs. We report improvements of up to 10 percentage points over state-of-the-art coverage criteria for detecting adversarial attacks on several benchmarks, including MNIST, SVHN, and CIFAR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google