DeepGD: A Multi-Objective Black-Box Test Selection Approach for Deep Neural Networks

要約

ディープニューラルネットワーク（DNN）は、画像処理、音声認識、自然言語処理など、様々な応用領域で広く使用されている。しかし、DNNモデルのテストは、その入力領域の複雑さと大きさのために困難な場合がある。特に、DNNモデルのテストは、しばしば大規模なラベルなしデータセットを生成または探索する必要があります。実際には、DNNのテストオークルは、入力に対する正しい出力を特定するものであるが、テストデータのラベル付けに高価な手作業を必要とすることが多く、ラベル付けの正しさを保証するために複数の専門家が関与することもある。本稿では、DNNモデルのためのブラックボックス型の多目的テスト選択アプローチであるDeepGDを提案する。DeepGDは、ラベル付けされていない大規模なデータセットから、故障を発見する力が高いテスト入力を優先的に選択することで、ラベル付けのコストを削減する。DeepGDは、高い不確定性スコアを持つテスト入力を選択することで、できるだけ多くの誤予測入力を誘発するだけでなく、多様な誤予測入力を選択することで、DNNモデルの明確な欠陥を明らかにする確率を最大化する。広く使用されている4つのデータセットと5つのDNNモデルで実施した実験結果から、(1)ホワイトボックス、カバレッジベースのアプローチでは故障発見能力が低いこと、(2)DeepGDは既存のブラックボックステスト選択アプローチよりも故障発見能力が高いこと、(3)DeepGDは、選択された入力を訓練セットの補強に使用する場合、DNNモデルの再トレーニングのためのより良いガイダンスにもつながることが示された。

要約(オリジナル)

Deep neural networks (DNNs) are widely used in various application domains such as image processing, speech recognition, and natural language processing. However, testing DNN models may be challenging due to the complexity and size of their input domain. Particularly, testing DNN models often requires generating or exploring large unlabeled datasets. In practice, DNN test oracles, which identify the correct outputs for inputs, often require expensive manual effort to label test data, possibly involving multiple experts to ensure labeling correctness. In this paper, we propose DeepGD, a black-box multi-objective test selection approach for DNN models. It reduces the cost of labeling by prioritizing the selection of test inputs with high fault revealing power from large unlabeled datasets. DeepGD not only selects test inputs with high uncertainty scores to trigger as many mispredicted inputs as possible but also maximizes the probability of revealing distinct faults in the DNN model by selecting diverse mispredicted inputs. The experimental results conducted on four widely used datasets and five DNN models show that in terms of fault-revealing ability: (1) White-box, coverage-based approaches fare poorly, (2) DeepGD outperforms existing black-box test selection approaches in terms of fault detection, and (3) DeepGD also leads to better guidance for DNN model retraining when using selected inputs to augment the training set.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL