A Survey of Query Optimization in Large Language Models

要約

\textit{クエリ最適化} (QO) は、クエリ、特に検索拡張生成 (RAG) のようなシナリオにおける複雑なクエリを理解して応答する際に、大規模言語モデル (LLM) の効率と品質を向上させることを目的とした技術を指します。
具体的には、RAG は、最新の関連情報を動的に取得して活用することで LLM の制限を緩和し、LLM がもっともらしいが不正確な可能性のある応答を生成するという課題に対する費用対効果の高いソリューションを提供します。
最近、RAG が進化し、そのパフォーマンスに影響を与える複数のコンポーネントを組み込むにつれて、QO が重要な要素として浮上し、クエリに正しく答えるために必要な複数の証拠を正確に調達するという RAG の検索段階の有効性を決定する上で極めて重要な役割を果たしています。
この論文では、重要な研究を要約し分析することによって、QO 技術の進化を追跡します。
組織化されたフレームワークと分類を通じて、私たちは RAG の既存の QO 技術を統合し、その技術的基盤を解明し、LLM の汎用性とアプリケーションを強化する可能性を強調することを目指しています。

要約(オリジナル)

\textit{Query Optimization} (QO) refers to techniques aimed at enhancing the efficiency and quality of Large Language Models (LLMs) in understanding and answering queries, especially complex ones in scenarios like Retrieval-Augmented Generation (RAG). Specifically, RAG mitigates the limitations of LLMs by dynamically retrieving and leveraging up-to-date relevant information, which provides a cost-effective solution to the challenge of LLMs producing plausible but potentially inaccurate responses. Recently, as RAG evolves and incorporates multiple components that influence its performance, QO has emerged as a critical element, playing a pivotal role in determining the effectiveness of RAG’s retrieval stage in accurately sourcing the necessary multiple pieces of evidence to answer queries correctly. In this paper, we trace the evolution of QO techniques by summarizing and analyzing significant studies. Through an organized framework and categorization, we aim to consolidate existing QO techniques in RAG, elucidate their technological foundations, and highlight their potential to enhance the versatility and applications of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google