Evaluating Generative Ad Hoc Information Retrieval

要約

大規模言語モデルの最近の進歩により、実行可能な生成検索システムの開発が可能になりました。
従来の文書ランキングの代わりに、多くの生成検索システムは、クエリまたは質問として表現される必要な情報に対する回答として、根拠のある生成テキストを直接返します。
このような生成的アドホック検索を適切に評価するには、テキスト応答の有用性を定量化することが不可欠です。
しかし、ランキングベースの検索用に確立された評価方法は、生成された回答の信頼性、再現性、再現性の高い評価には適していません。
この論文では、情報検索と自然言語処理の分野の関連文献を調査し、生成検索における検索タスクとシステム アーキテクチャを特定し、対応するユーザー モデルを開発し、その運用化を研究します。
私たちの分析は、アドホック検索に焦点を当てた、生成検索システムの評価のための基礎と新しい洞察を提供します。

要約(オリジナル)

Recent advances in large language models have enabled the development of viable generative retrieval systems. Instead of a traditional document ranking, many generative retrieval systems directly return a grounded generated text as an answer to an information need expressed as a query or question. Quantifying the utility of the textual responses is essential for appropriately evaluating such generative ad hoc retrieval. Yet, the established evaluation methodology for ranking-based retrieval is not suited for reliable, repeatable, and reproducible evaluation of generated answers. In this paper, we survey the relevant literature from the fields of information retrieval and natural language processing, we identify search tasks and system architectures in generative retrieval, we develop a corresponding user model, and we study its operationalization. Our analysis provides a foundation and new insights for the evaluation of generative retrieval systems, focusing on ad hoc retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google