DeepGD: A Multi-Objective Black-Box Test Selection Approach for Deep Neural Networks

要約

ディープ ニューラル ネットワーク (DNN) は、画像処理、音声認識、自然言語処理などのさまざまなアプリケーション ドメインで広く使用されています。
ただし、入力ドメインの複雑さとサイズにより、DNN モデルのテストが困難になる場合があります。
特に、DNN モデルのテストでは、ラベルのない大規模なデータセットの生成または探索が必要になることがよくあります。
実際には、入力に対する正しい出力を識別する DNN テスト オラクルでは、多くの場合、テスト データにラベルを付けるのに高価な手作業が必要となり、ラベル付けの正確さを保証するために複数の専門家が関与する可能性があります。
この論文では、DNN モデル用のブラックボックス多目的テスト選択アプローチである DeepGD を提案します。
ラベルのない大規模なデータセットから、高い障害発見力を持つテスト入力の選択を優先することで、ラベル付けのコストを削減します。
DeepGD は、不確実性スコアの高いテスト入力を選択して、できるだけ多くの誤予測入力をトリガーするだけでなく、多様な誤予測入力を選択することで、DNN モデル内の明確な障害を明らかにする確率も最大化します。
広く使用されている 4 つのデータセットと 5 つの DNN モデルで実施された実験結果は、障害発見能力の点で次のことを示しています: (1) ホワイト ボックス、カバレッジ ベースのアプローチはうまく機能せず、(2) DeepGD は既存のブラック ボックス テスト選択アプローチよりも優れています。
(3) DeepGD は、選択した入力を使用してトレーニング セットを拡張する場合の DNN モデルの再トレーニングのより良いガイダンスにもつながります。

要約(オリジナル)

Deep neural networks (DNNs) are widely used in various application domains such as image processing, speech recognition, and natural language processing. However, testing DNN models may be challenging due to the complexity and size of their input domain. Particularly, testing DNN models often requires generating or exploring large unlabeled datasets. In practice, DNN test oracles, which identify the correct outputs for inputs, often require expensive manual effort to label test data, possibly involving multiple experts to ensure labeling correctness. In this paper, we propose DeepGD, a black-box multi-objective test selection approach for DNN models. It reduces the cost of labeling by prioritizing the selection of test inputs with high fault revealing power from large unlabeled datasets. DeepGD not only selects test inputs with high uncertainty scores to trigger as many mispredicted inputs as possible but also maximizes the probability of revealing distinct faults in the DNN model by selecting diverse mispredicted inputs. The experimental results conducted on four widely used datasets and five DNN models show that in terms of fault-revealing ability: (1) White-box, coverage-based approaches fare poorly, (2) DeepGD outperforms existing black-box test selection approaches in terms of fault detection, and (3) DeepGD also leads to better guidance for DNN model retraining when using selected inputs to augment the training set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google