EnrichIndex: Using LLMs to Enrich Retrieval Indices Offline

要約

既存の情報検索システムは、対象文書の言語がユーザーのクエリの言語と密接に一致する場合に優れている。しかし、現実の検索システムでは、文書が関連性があるかどうかを暗黙のうちに推論することが求められることが多い。例えば、技術的な文章や表を検索する場合、ユーザー・クエリとの関連性は、その内容で明示的に表現されるのではなく、特定の専門用語や構造によって暗示されることがある。大規模言語モデル（LLM）は、推論能力を活用することで、このような暗黙の関連性を識別する大きな可能性を秘めている。とはいえ、現在のLLMによる拡張検索は、一般的にLLMがクエリごとにクエリとドキュメントの関連性をオンラインで新たに計算するため、高い待ち時間と計算コストが障害となっている。この問題に対処するために、我々はEnrichIndexを導入する。EnrichIndexは、LLMをオフラインで利用し、インジェスト時に検索コーパスの全文書に対して一度だけ実行することで、意味的にエンリッチされた検索インデックスを構築する検索アプローチである。さらに、意味的にエンリッチされたインデックスは、既存のオンライン検索アプローチを補完し、LLMリランカーの性能を高めることができる。EnrichIndexを、文章と表を含む5つの検索タスクで評価した結果、強力なオンラインLLMベースの検索システムを凌駕し、強力なベースラインと比較して、リコール@10で平均11.7ポイント、NDCG@10で平均10.6ポイントの改善が見られた。LLMへのオンライン呼び出しに関しては、293.3倍少ないトークンを処理し、オンラインレイテンシーとコストを大幅に削減している。全体として、EnrichIndexはLLMの強力な推論スキルを活用することで、より優れた検索インデックスをオフラインで構築する効果的な方法である。

要約(オリジナル)

Existing information retrieval systems excel in cases where the language of target documents closely matches that of the user query. However, real-world retrieval systems are often required to implicitly reason whether a document is relevant. For example, when retrieving technical texts or tables, their relevance to the user query may be implied through a particular jargon or structure, rather than explicitly expressed in their content. Large language models (LLMs) hold great potential in identifying such implied relevance by leveraging their reasoning skills. Nevertheless, current LLM-augmented retrieval is hindered by high latency and computation cost, as the LLM typically computes the query-document relevance online, for every query anew. To tackle this issue we introduce EnrichIndex, a retrieval approach which instead uses the LLM offline to build semantically-enriched retrieval indices, by performing a single pass over all documents in the retrieval corpus once during ingestion time. Furthermore, the semantically-enriched indices can complement existing online retrieval approaches, boosting the performance of LLM re-rankers. We evaluated EnrichIndex on five retrieval tasks, involving passages and tables, and found that it outperforms strong online LLM-based retrieval systems, with an average improvement of 11.7 points in recall @ 10 and 10.6 points in NDCG @ 10 compared to strong baselines. In terms of online calls to the LLM, it processes 293.3 times fewer tokens which greatly reduces the online latency and cost. Overall, EnrichIndex is an effective way to build better retrieval indices offline by leveraging the strong reasoning skills of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL