RBT4DNN: Requirements-based Testing of Neural Networks

要約

ディープニューラルネットワーク（DNN）のテストは、障害が重大な結果をもたらす可能性のある重要なシステムの信頼性と安全性にとって極めて重要です。ロバスト性のテストスイートを作成するための様々な技術が開発されているが、DNNのための要件ベースのテストはほとんど未開拓のままである。この研究では、意味的特徴空間で定式化された構造化された自然言語要求を用いて、要求の前提条件でテキスト条件潜在拡散モデルを促し、関連する後条件を用いて、テスト対象のDNNの出力を判定するテストオラクルを定義することで、テストスイートを作成する要求ベースのテストスイート生成手法を提案する。我々は、事前に訓練された生成モデルの微調整された変種を用いて、このアプローチを調査する。MNIST、CelebA-HQ、ImageNet、および自律走行車のデータセットを用いた実験により、生成されたテスト・スイートが現実的で、多様で、前提条件と整合性があり、欠陥を明らかにできることが実証された。

要約(オリジナル)

Deep neural network (DNN) testing is crucial for the reliability and safety of critical systems, where failures can have severe consequences. Although various techniques have been developed to create robustness test suites, requirements-based testing for DNNs remains largely unexplored – yet such tests are recognized as an essential component of software validation of critical systems. In this work, we propose a requirements-based test suite generation method that uses structured natural language requirements formulated in a semantic feature space to create test suites by prompting text-conditional latent diffusion models with the requirement precondition and then using the associated postcondition to define a test oracle to judge outputs of the DNN under test. We investigate the approach using fine-tuned variants of pre-trained generative models. Our experiments on the MNIST, CelebA-HQ, ImageNet, and autonomous car driving datasets demonstrate that the generated test suites are realistic, diverse, consistent with preconditions, and capable of revealing faults.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL