Reasoning-Based Software Testing

要約

ソフトウェア システムがますます普及し、自律的になるにつれて、その品質をテストする私たちの能力は深刻な課題となっています。
多くのシステムは、不確実で高度に変化する環境で動作するように求められており、インテリジェントな決定を自分で行う必要はめったにありません。
これにより、テスト時に探索する扱いにくい状態空間が簡単に発生します。
最先端の技術は、このスペースを効率的に検索するために、観察からの何らかの形の (明示的または暗黙的な) 学習でテスターの直感を増強するなどして、ペースを維持しようとします。
たとえば、過去のデータを活用して検索 (例: ML 駆動型テスト) を実行したり、テスト実行データ自体 (例: 適応テストまたは検索ベースのテスト) を実行したりします。
疑いの余地のない進歩にもかかわらず、このような巨大なスペースでの検索をスマートにする必要性は、引き続き差し迫っています。
推論ベースのソフトウェア テスト (RBST) を導入します。これは、テスト問題を因果推論タスクとして捉える新しい方法です。
単なる直感ベースまたは最先端の学習ベースの戦略と比較して、因果推論は、人間が空間を「賢く」検索するために行うプロセスをより自然にエミュレートすると主張します。
RBST は、計算の力でこの能力を模倣し、増幅することを目指しています。
概念的な飛躍は、因果関係の発見と推論のための多数のツールを活用することにより、提案されたフレームワークからさまざまにインスタンス化できる技術の新しいトレンドへの土台を築くことができます。
この論文で報告された予備的な結果は有望です。

要約(オリジナル)

With software systems becoming increasingly pervasive and autonomous, our ability to test for their quality is severely challenged. Many systems are called to operate in uncertain and highly-changing environment, not rarely required to make intelligent decisions by themselves. This easily results in an intractable state space to explore at testing time. The state-of-the-art techniques try to keep the pace, e.g., by augmenting the tester’s intuition with some form of (explicit or implicit) learning from observations to search this space efficiently. For instance, they exploit historical data to drive the search (e.g., ML-driven testing) or the tests execution data itself (e.g., adaptive or search-based testing). Despite the indubitable advances, the need for smartening the search in such a huge space keeps to be pressing. We introduce Reasoning-Based Software Testing (RBST), a new way of thinking at the testing problem as a causal reasoning task. Compared to mere intuition-based or state-of-the-art learning-based strategies, we claim that causal reasoning more naturally emulates the process that a human would do to ”smartly’ search the space. RBST aims to mimic and amplify, with the power of computation, this ability. The conceptual leap can pave the ground to a new trend of techniques, which can be variously instantiated from the proposed framework, by exploiting the numerous tools for causal discovery and inference. Preliminary results reported in this paper are promising.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google