CertPri: Certifiable Prioritization for Deep Neural Networks via Movement Cost in Feature Space

要約

ディープ ニューラル ネットワーク (DNN) は、さまざまなソフトウェア システムで優れたパフォーマンスを示していますが、誤った動作を示し、取り返しのつかない災害を引き起こすこともあります。
したがって、DNN ベースのソフトウェアの不正動作を特定し、DNN の品質を向上させることが重要です。
テスト入力の優先順位付けは、DNN の品質を保証する最も魅力的な方法の 1 つであり、限られた時間と手動のラベル付け作業で、より多くのバグを明らかにする入力を早期に特定できるように、テスト入力に優先順位を付けます。
しかし、既存の優先順位付け方法は、認証可能性、有効性、一般化可能性という 3 つの側面から依然として制限されています。
この課題を克服するために、DNN の特徴空間におけるテスト入力の移動コストの観点に基づいて設計されたテスト入力優先順位付け手法である CertPri を提案します。
CertPri は、次の 3 つの重要な点で以前の作品と異なります。(1) 認証可能: 移動コストに対する正式な堅牢性保証を提供します。
(2) 効果的: 正式に保証された移動コストを活用して、悪意のあるバグを明らかにする入力を特定します。
(3) 汎用: さまざまなタスク、データ、モデル、シナリオに適用できます。
2 つのタスク (つまり、分類と回帰)、6 つのデータ フォーム、4 つのモデル構造、および 2 つのシナリオ (つまり、ホワイト ボックスとブラック ボックス) にわたる広範な評価により、CertPri の優れたパフォーマンスが実証されています。
たとえば、ベースラインと比較して、優先順位付けの有効性が平均で 53.97% 大幅に向上します。
その堅牢性と一般化性は、平均してベースラインの 1.41 ～ 2.00 倍と 1.33 ～ 3.39 倍です。

要約(オリジナル)

Deep neural networks (DNNs) have demonstrated their outperformance in various software systems, but also exhibit misbehavior and even result in irreversible disasters. Therefore, it is crucial to identify the misbehavior of DNN-based software and improve DNNs’ quality. Test input prioritization is one of the most appealing ways to guarantee DNNs’ quality, which prioritizes test inputs so that more bug-revealing inputs can be identified earlier with limited time and manual labeling efforts. However, the existing prioritization methods are still limited from three aspects: certifiability, effectiveness, and generalizability. To overcome the challenges, we propose CertPri, a test input prioritization technique designed based on a movement cost perspective of test inputs in DNNs’ feature space. CertPri differs from previous works in three key aspects: (1) certifiable: it provides a formal robustness guarantee for the movement cost; (2) effective: it leverages formally guaranteed movement costs to identify malicious bug-revealing inputs; and (3) generic: it can be applied to various tasks, data, models, and scenarios. Extensive evaluations across 2 tasks (i.e., classification and regression), 6 data forms, 4 model structures, and 2 scenarios (i.e., white-box and black-box) demonstrate CertPri’s superior performance. For instance, it significantly improves 53.97% prioritization effectiveness on average compared with baselines. Its robustness and generalizability are 1.41~2.00 times and 1.33~3.39 times that of baselines on average, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google