Can ChatGPT advance software testing intelligence? An experience report on metamorphic testing

要約

ChatGPT は人間の質問に答えるために使用されているよく知られた人工知能チャットボットですが、ソフトウェア テストを進める上でその可能性を発見したいと思う人もいるかもしれません。
最先端のソフトウェア テスト手法であるメタモーフィック テスト (MT) のケーススタディを通じて、ソフトウェア テストのインテリジェンスを向上させる ChatGPT の機能を検証します。
ChatGPT にメタモーフィック リレーション (MR) の候補を生成するよう依頼します。これは基本的にオブジェクト プログラムに必要なプロパティであり、伝統的に識別するには人間の知能が必要です。
これらの MR 候補者は、分野の専門家によって正確性の観点から評価されます。
ChatGPT を使用して、いくつかのソフトウェア システムをテストするための新しい正しい MR を生成できることを示します。
そうは言っても、特に MT でテストされたことがないシステムの場合、MR 候補の大部分は曖昧に定義されているか、不正確です。
ChatGPT を使用すると、後でテストの実装に採用できる MR 候補を提案することで、ソフトウェア テスト インテリジェンスを向上させることができます。
しかし、その正しさを正当化し、修正するためには、依然として人間の知性が必然的に関与する必要があります。

要約(オリジナル)

While ChatGPT is a well-known artificial intelligence chatbot being used to answer human’s questions, one may want to discover its potential in advancing software testing. We examine the capability of ChatGPT in advancing the intelligence of software testing through a case study on metamorphic testing (MT), a state-of-the-art software testing technique. We ask ChatGPT to generate candidates of metamorphic relations (MRs), which are basically necessary properties of the object program and which traditionally require human intelligence to identify. These MR candidates are then evaluated in terms of correctness by domain experts. We show that ChatGPT can be used to generate new correct MRs to test several software systems. Having said that, the majority of MR candidates are either defined vaguely or incorrect, especially for systems that have never been tested with MT. ChatGPT can be used to advance software testing intelligence by proposing MR candidates that can be later adopted for implementing tests; but human intelligence should still inevitably be involved to justify and rectify their correctness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google