GIST: Generated Inputs Sets Transferability in Deep Learning

要約

ディープ ニューラル ネットワーク (DNN) の検証可能性とテスト可能性を高めるために、テスト ケース生成手法の開発方法がますます増えています。
DNN モデルのテストに直面した場合、ユーザーは既存のテスト生成手法を適用できます。
ただし、各手法とテスト対象の各 DNN モデルに対してこれを行う必要があり、コストがかかる可能性があります。
したがって、パラダイム シフトは、このテスト プロセスに利益をもたらす可能性があります。テスト対象の各 DNN モデルに対して個別にテスト セットを再生成するのではなく、既存の DNN モデルから移行できます。
この文書では、テスト セットを効率的に転送するための新しいアプローチである GIST (Generated Inputs Sets Transferability) を紹介します。
ユーザーが選択したプロパティ (カバーされるニューロン、障害など) が与えられると、GIST は、利用可能なテスト セットの中からこのプロパティの観点から適切なテスト セットを選択できるようにします。
これにより、ユーザーは、テスト ケース生成手法を使用して最初からテスト セットを生成する場合と同様のプロパティを、転送されたテスト セット上で回復できます。
実験結果は、GIST が転送する特定のプロパティに対して効果的なテスト セットを選択できることを示しています。
さらに、GIST は、テスト対象の DNN モデルにテスト ケース生成手法を最初から再適用するよりも拡張性に優れています。

要約(オリジナル)

To foster the verifiability and testability of Deep Neural Networks (DNN), an increasing number of methods for test case generation techniques are being developed. When confronted with testing DNN models, the user can apply any existing test generation technique. However, it needs to do so for each technique and each DNN model under test, which can be expensive. Therefore, a paradigm shift could benefit this testing process: rather than regenerating the test set independently for each DNN model under test, we could transfer from existing DNN models. This paper introduces GIST (Generated Inputs Sets Transferability), a novel approach for the efficient transfer of test sets. Given a property selected by a user (e.g., neurons covered, faults), GIST enables the selection of good test sets from the point of view of this property among available test sets. This allows the user to recover similar properties on the transferred test sets as he would have obtained by generating the test set from scratch with a test cases generation technique. Experimental results show that GIST can select effective test sets for the given property to transfer. Moreover, GIST scales better than reapplying test case generation techniques from scratch on DNN models under test.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google