LLMs for Test Input Generation for Semantic Caches

要約

大規模言語モデル (LLM) を使用すると、非構造化ドキュメントの意味検索やテキスト生成など、最先端の意味機能をソフトウェア システムに追加できます。
ただし、これらのモデルは計算コストが高くなります。
大規模になると、数千人のユーザーにサービスを提供するコストが増加し、ユーザー エクスペリエンスにも大きな影響を与えます。
この問題に対処するために、セマンティック キャッシュを使用して、LLM サービスにアクセスすることなく、同様のクエリ (表現が異なる可能性があります) に対する回答をチェックします。
クエリの埋め込みに依存するこれらのセマンティック キャッシュ技術の性質により、システムに対するユーザーの信頼に影響を与えるエラーが発生する可能性が高くなります。
セマンティック キャッシュ技術を採用するには、通常、セマンティック キャッシュの有効性 (正確なキャッシュ ヒットとミス) をテストする必要があります。これには、同様のクエリと応答のラベル付きテスト セットが必要ですが、多くの場合利用できません。
この論文では、非構造化テキスト文書から同様の質問を生成するテスト入力生成に LLM を使用するアプローチである VaryGen を紹介します。
私たちの新しいアプローチでは、LLM の推論機能を使用して、1) クエリをドメインに適応させ、2) クエリに対する微妙なバリエーションを合成し、3) 合成されたテスト データセットを評価します。
私たちは、生成された 100 個のクエリと結果のペアを定性的に分析し、オープンソースのセマンティック キャッシュを使用して実証的なケース スタディを実施することで、学生の質疑応答システムの領域でのアプローチを評価しました。
私たちの結果は、クエリのペアが人間の類似性の期待を満たしており、生成されたデータがセマンティック キャッシュの失敗例を示していることを示しています。
さらに、Qasper データセットに対するアプローチも評価します。
この作業は、セマンティック アプリケーションのテスト入力生成への重要な最初のステップであり、セマンティック キャッシュを調整する際の考慮事項を実務者に提示します。

要約(オリジナル)

Large language models (LLMs) enable state-of-the-art semantic capabilities to be added to software systems such as semantic search of unstructured documents and text generation. However, these models are computationally expensive. At scale, the cost of serving thousands of users increases massively affecting also user experience. To address this problem, semantic caches are used to check for answers to similar queries (that may have been phrased differently) without hitting the LLM service. Due to the nature of these semantic cache techniques that rely on query embeddings, there is a high chance of errors impacting user confidence in the system. Adopting semantic cache techniques usually requires testing the effectiveness of a semantic cache (accurate cache hits and misses) which requires a labelled test set of similar queries and responses which is often unavailable. In this paper, we present VaryGen, an approach for using LLMs for test input generation that produces similar questions from unstructured text documents. Our novel approach uses the reasoning capabilities of LLMs to 1) adapt queries to the domain, 2) synthesise subtle variations to queries, and 3) evaluate the synthesised test dataset. We evaluated our approach in the domain of a student question and answer system by qualitatively analysing 100 generated queries and result pairs, and conducting an empirical case study with an open source semantic cache. Our results show that query pairs satisfy human expectations of similarity and our generated data demonstrates failure cases of a semantic cache. Additionally, we also evaluate our approach on Qasper dataset. This work is an important first step into test input generation for semantic applications and presents considerations for practitioners when calibrating a semantic cache.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google