Large Search Model: Redefining Search Stack in the Era of LLMs

要約

最新の検索エンジンは、クエリの理解、検索、多段階のランキング、質問応答など、さまざまなコンポーネントのスタック上に構築されています。
これらのコンポーネントは多くの場合、個別に最適化および展開されます。
この論文では、大規模検索モデルと呼ばれる新しい概念フレームワークを紹介します。これは、検索タスクを 1 つの大規模言語モデル (LLM) で統合することにより、従来の検索スタックを再定義します。
すべてのタスクは自己回帰テキスト生成問題として定式化されており、自然言語プロンプトを使用してタスクをカスタマイズできます。
この提案されたフレームワークは、LLM の強力な言語理解と推論機能を活用し、既存の煩雑な検索スタックを簡素化しながら、検索結果の品質を向上させる可能性を提供します。
このフレームワークの実現可能性を実証するために、一連の概念実証実験を紹介し、現実世界の検索システム内でこのアプローチを実装することに関連する潜在的な課題について説明します。

要約(オリジナル)

Modern search engines are built on a stack of different components, including query understanding, retrieval, multi-stage ranking, and question answering, among others. These components are often optimized and deployed independently. In this paper, we introduce a novel conceptual framework called large search model, which redefines the conventional search stack by unifying search tasks with one large language model (LLM). All tasks are formulated as autoregressive text generation problems, allowing for the customization of tasks through the use of natural language prompts. This proposed framework capitalizes on the strong language understanding and reasoning capabilities of LLMs, offering the potential to enhance search result quality while simultaneously simplifying the existing cumbersome search stack. To substantiate the feasibility of this framework, we present a series of proof-of-concept experiments and discuss the potential challenges associated with implementing this approach within real-world search systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google