Generative AI to Generate Test Data Generators

要約

データ偽装ライブラリの数と重要性が示すように、偽データの生成は現代のソフトウェア テストの重要な側面です。
しかし、偽のライブラリの開発者は、さまざまな自然言語やドメインに対して生成される広範囲のデータに追いつくことができません。
この論文では、さまざまなドメインでテスト データを生成する生成 AI の能力を評価します。
私たちは、大規模言語モデル (LLM) 用の 3 種類のプロンプトを設計します。LLM は、さまざまな統合性レベルでテスト データ生成タスクを実行します。1) 生のテスト データ生成、2) 有用なテスト データを生成する特定の言語でのプログラムの合成、3)
最先端の Faker ライブラリを使用するプログラムを作成します。
LLM に 11 のドメインのテスト データを生成するよう促して、アプローチを評価します。
結果は、LLM が 3 つの統合性レベルすべてで、広範囲のドメインで現実的なテスト データ ジェネレーターを正常に生成できることを示しています。

要約(オリジナル)

Generating fake data is an essential dimension of modern software testing, as demonstrated by the number and significance of data faking libraries. Yet, developers of faking libraries cannot keep up with the wide range of data to be generated for different natural languages and domains. In this paper, we assess the ability of generative AI for generating test data in different domains. We design three types of prompts for Large Language Models (LLMs), which perform test data generation tasks at different levels of integrability: 1) raw test data generation, 2) synthesizing programs in a specific language that generate useful test data, and 3) producing programs that use state-of-the-art faker libraries. We evaluate our approach by prompting LLMs to generate test data for 11 domains. The results show that LLMs can successfully generate realistic test data generators in a wide range of domains at all three levels of integrability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google