A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs

要約

最近の Web サービスは REST API への依存度が高まっているため、徹底的なテストが重要になっています。
さらに、OpenAPI 仕様などの REST API 仕様の出現により、多くのブラックボックス REST API テスト ツールが登場しました。
ただし、これらのツールは多くの場合、個別のテスト要素 (API、パラメーター、値など) に焦点を当てているため、カバレッジが低くなり、障害 (つまり、500 応答コード) を検出する効果が低くなります。
これらの制限に対処するために、REST API テストに依存関係が埋め込まれたマルチエージェント アプローチを採用する最初のブラック ボックス フレームワークである AutoRestTest を紹介します。これは、マルチエージェント強化学習 (MARL) とセマンティック プロパティ依存関係グラフ (SPDG) を統合し、大規模な
言語モデル (LLM)。
私たちのアプローチでは、REST API テストを分離可能な問題として扱い、API、依存関係、パラメータ、値の 4 つのエージェントが連携して API 探索を最適化します。
LLM はドメイン固有の値制限を処理し、SPDG モデルは API 操作間の類似性スコアを使用して依存関係の検索スペースを簡素化し、MARL はエージェントの動作を動的に最適化します。
12 の実際の REST サービスで評価した AutoRestTest は、コード カバレッジ、オペレーション カバレッジ、および障害検出の点で、RESTGPT (LLM を使用して現実的なテスト入力を強化する) によって支援されるツールを含む 4 つの主要なブラックボックス REST API テスト ツールよりも優れています。
特に、AutoRestTest は Spotify の内部サーバー エラーを特定できる唯一のツールです。
私たちのアブレーション研究は、エージェント学習、SPDG、および LLM コンポーネントの重要な貢献を強調しています。

要約(オリジナル)

As modern web services increasingly rely on REST APIs, their thorough testing has become crucial. Furthermore, the advent of REST API specifications such as the OpenAPI Specification has led to the emergence of many black-box REST API testing tools. However, these tools often focus on individual test elements in isolation (e.g., APIs, parameters, values), resulting in lower coverage and less effectiveness in detecting faults (i.e., 500 response codes). To address these limitations, we present AutoRestTest, the first black-box framework to adopt a dependency-embedded multi-agent approach for REST API testing, integrating Multi-Agent Reinforcement Learning (MARL) with a Semantic Property Dependency Graph (SPDG) and Large Language Models (LLMs). Our approach treats REST API testing as a separable problem, where four agents — API, dependency, parameter, and value — collaborate to optimize API exploration. LLMs handle domain-specific value restrictions, the SPDG model simplifies the search space for dependencies using a similarity score between API operations, and MARL dynamically optimizes the agents’ behavior. Evaluated on 12 real-world REST services, AutoRestTest outperforms the four leading black-box REST API testing tools, including those assisted by RESTGPT (which augments realistic test inputs using LLMs), in terms of code coverage, operation coverage, and fault detection. Notably, AutoRestTest is the only tool able to identify an internal server error in Spotify. Our ablation study underscores the significant contributions of the agent learning, SPDG, and LLM components.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google