The Prompt Alchemist: Automated LLM-Tailored Prompt Optimization for Test Case Generation

要約

テストケースは、ソフトウェアアプリケーションの信頼性と品質を検証するために不可欠である。最近の研究では、大規模言語モデル（LLM）が、与えられたソースコードに対して有用なテストケースを生成できることが実証されている。しかし、既存の研究は、主に人間が書いた平易なプロンプトに依存しており、LLMの性能はプロンプトに大きく影響される可能性があるため、しばしば最適とは言えない結果を導く。さらに、これらのアプローチはすべてのLLMに対して同じプロンプトを使用しており、異なるLLMが異なるプロンプトに最適であるかもしれないという事実を見落としている。様々なプロンプトが存在することを考えると、各LLMに最適なプロンプトを自動的に発見することは重要な課題である。自然言語処理の分野ではプロンプトの自動最適化に関する手法が存在するが、テストケース生成タスクに効果的なプロンプトを生成することは困難である。第一に、これらの手法は適切なガイダンスなしに既存のプロンプトを単純に組み合わせたり変化させたりすることでプロンプトを繰り返し最適化するため、プロンプトの多様性に欠け、生成されたテストケースの中で同じエラーを繰り返す傾向がある。第二に、プロンプトは一般的にドメインの文脈に関する知識が不足しているため、LLMのタスクにおけるパフォーマンスが制限される。

要約(オリジナル)

Test cases are essential for validating the reliability and quality of software applications. Recent studies have demonstrated the capability of Large Language Models (LLMs) to generate useful test cases for given source code. However, the existing work primarily relies on human-written plain prompts, which often leads to suboptimal results since the performance of LLMs can be highly influenced by the prompts. Moreover, these approaches use the same prompt for all LLMs, overlooking the fact that different LLMs might be best suited to different prompts. Given the wide variety of possible prompt formulations, automatically discovering the optimal prompt for each LLM presents a significant challenge. Although there are methods on automated prompt optimization in the natural language processing field, they are hard to produce effective prompts for the test case generation task. First, the methods iteratively optimize prompts by simply combining and mutating existing ones without proper guidance, resulting in prompts that lack diversity and tend to repeat the same errors in the generated test cases. Second, the prompts are generally lack of domain contextual knowledge, limiting LLMs’ performance in the task.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL