Automated Test-Case Generation for REST APIs Using Model Inference Search Heuristic

要約

マイクロサービス アーキテクチャ スタイルの人気の高まりにより、これらのシステムに合わせた自動テスト アプローチに対する需要が高まっています。
EvoMaster は、進化アルゴリズム (EA) を使用してマイクロサービスの REST API のテスト ケースを自動的に生成する最先端のツールです。
これらの EA の制限の 1 つは、分岐距離などのユニットレベルの検索ヒューリスティックを使用することです。これは、きめ細かいコード カバレッジに焦点を当てており、システム レベルのテストに特徴的な複雑で相互接続された動作を効果的に捕捉できない可能性があります。
この制限に対処するために、リアルタイムのオートマトン学習を使用してテスト ケース生成プロセスをガイドする新しい検索ヒューリスティック (MISH) を提案します。
同じシステム内のさまざまなマイクロサービスによって出力されたログ イベントのストリームからオートマトンを学習することにより、テスト ケースによって示される連続呼び出しパターンをキャプチャします。
したがって、MISH はシステム全体の動作の表現を学習し、推論されたオートマトン内でテスト ケースが通過するパスに基づいてテスト ケースの適合性を定義できるようにします。
私たちは、6 つの実際のベンチマーク マイクロサービス アプリケーションで MISH の有効性を実証的に評価し、REST API をテストするための最先端の技術である MOSA と比較します。
私たちの評価では、MISH を使用して EvoMaster 内で自動テスト ケース生成をガイドすることについて有望な結果が示されました。

要約(オリジナル)

The rising popularity of the microservice architectural style has led to a growing demand for automated testing approaches tailored to these systems. EvoMaster is a state-of-the-art tool that uses Evolutionary Algorithms (EAs) to automatically generate test cases for microservices’ REST APIs. One limitation of these EAs is the use of unit-level search heuristics, such as branch distances, which focus on fine-grained code coverage and may not effectively capture the complex, interconnected behaviors characteristic of system-level testing. To address this limitation, we propose a new search heuristic (MISH) that uses real-time automaton learning to guide the test case generation process. We capture the sequential call patterns exhibited by a test case by learning an automaton from the stream of log events outputted by different microservices within the same system. Therefore, MISH learns a representation of the systemwide behavior, allowing us to define the fitness of a test case based on the path it traverses within the inferred automaton. We empirically evaluate MISH’s effectiveness on six real-world benchmark microservice applications and compare it against a state-of-the-art technique, MOSA, for testing REST APIs. Our evaluation shows promising results for using MISH to guide the automated test case generation within EvoMaster.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google