Exploring the Integration of Large Language Models in Industrial Test Maintenance Processes

要約

ソフトウェア テスト プロセス中に必要なコストと労力の多くは、テスト メンテナンスの実行、つまりテスト スイートとテスト対象システムの同期を保つため、またはその他の方法でテストの品質を向上させるためのテスト ケースの追加、削除、または変更に投資されます。
ツール サポートは、プロセスの側面を自動化したり、開発者にガイダンスやサポートを提供したりすることで、テスト メンテナンスのコストを削減し、品質を向上させることができます。
この研究では、テストのメンテナンスをサポートするために、テキスト分析に適応した複雑な機械学習モデルである大規模言語モデル (LLM) の機能とアプリケーションを調査します。
私たちは Ericsson AB でケーススタディを実施し、テスト メンテナンスの必要性を示すトリガー、LLM が実行できるアクション、および産業環境で LLM を導入する際に考慮すべき考慮事項を調査しました。
また、ソース コードの変更後にどのテスト ケースにメンテナンスが必要かを予測できる 2 つのマルチエージェント アーキテクチャの実装を提案し、実証しました。
これらの貢献を総合すると、産業用テスト メンテナンス プロセスに利益をもたらすために LLM を導入する方法についての理論的かつ実践的な理解が深まります。

要約(オリジナル)

Much of the cost and effort required during the software testing process is invested in performing test maintenance – the addition, removal, or modification of test cases to keep the test suite in sync with the system-under-test or to otherwise improve its quality. Tool support could reduce the cost – and improve the quality – of test maintenance by automating aspects of the process or by providing guidance and support to developers. In this study, we explore the capabilities and applications of large language models (LLMs) – complex machine learning models adapted to textual analysis – to support test maintenance. We conducted a case study at Ericsson AB where we explored the triggers that indicate the need for test maintenance, the actions that LLMs can take, and the considerations that must be made when deploying LLMs in an industrial setting. We also proposed and demonstrated implementations of two multi-agent architectures that can predict which test cases require maintenance following a change to the source code. Collectively, these contributions advance our theoretical and practical understanding of how LLMs can be deployed to benefit industrial test maintenance processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google