Mutation-Guided LLM-based Test Generation at Meta

要約

この文書では、突然変異に基づく LLM ベースのテスト生成のための Meta の ACH システムについて説明します。
ACH は、従来の突然変異テストと比較して、比較的少数の突然変異 (別名シミュレートされた障害) を生成します。
代わりに、懸念されている問題に特有の、現在検出されていない障害を生成することに焦点を当てます。
これらの現在捕捉されていない障害から、ACH はそれらを捕捉できるテストを生成し、それによって変異体を「殺し」、その結果回帰に対してプラットフォームを強化します。
私たちのアプローチを説明するためにプライバシーへの懸念を取り上げていますが、ACH は、{\em any} タイプの回帰に対してコードを強化できます。
合計で、ACH は Meta が展開した 7 つのソフトウェア プラットフォームの 10,795 個の Android Kotlin クラスに適用され、そこから 9,095 個のミュータントと 571 個のプライバシー強化テスト ケースが生成されました。
ACH は、LLM ベースの同等の変異体検出エージェントも導入しており、精度 0.79 と再現率 0.47 を達成しています (単純な前処理で 0.95 と 0.96 に上昇します)。
ACH は Messenger と WhatsApp のテストで使用され、エンジニアはテストの 73% を受け入れ、36% がプライバシー関連であると判断しました。
私たちは、ACH は特定の問題に対してコードを強化し、そのテストが特定の問題に直接対処しない場合でも、エンジニアは ACH が他の利点に役立つと考えていると結論付けています。

要約(オリジナル)

This paper describes Meta’s ACH system for mutation-guided LLM-based test generation. ACH generates relatively few mutants (aka simulated faults), compared to traditional mutation testing. Instead, it focuses on generating currently undetected faults that are specific to an issue of concern. From these currently uncaught faults, ACH generates tests that can catch them, thereby `killing’ the mutants and consequently hardening the platform against regressions. We use privacy concerns to illustrate our approach, but ACH can harden code against {\em any} type of regression. In total, ACH was applied to 10,795 Android Kotlin classes in 7 software platforms deployed by Meta, from which it generated 9,095 mutants and 571 privacy-hardening test cases. ACH also deploys an LLM-based equivalent mutant detection agent that achieves a precision of 0.79 and a recall of 0.47 (rising to 0.95 and 0.96 with simple pre-processing). ACH was used by Messenger and WhatsApp test-a-thons where engineers accepted 73% of its tests, judging 36% to privacy relevant. We conclude that ACH hardens code against specific concerns and that, even when its tests do not directly tackle the specific concern, engineers find them useful for their other benefits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google