Evaluating Generative Ad Hoc Information Retrieval

要約

大規模言語モデルの最近の進歩により、実行可能な生成型情報検索システムの開発が可能になりました。
生成検索システムは、従来の文書のランキングではなく、情報ニーズに応じて根拠のある生成テキストを返します。
このようなタイプの応答の有用性を定量化することは、生成検索システムを評価するために不可欠です。
ランキングベースのアドホック検索用に確立された評価方法論は生成検索には適していないように見えるため、信頼性があり、再現性があり、再現可能な実験のための新しいアプローチが必要です。
この論文では、関連する情報検索と自然言語処理の文献を調査し、生成検索における検索タスクとシステム アーキテクチャを特定し、対応するユーザー モデルを開発し、その運用化を研究します。
この理論的分析は、生成的アドホック検索システムの評価のための基礎と新しい洞察を提供します。

要約(オリジナル)

Recent advances in large language models have enabled the development of viable generative information retrieval systems. A generative retrieval system returns a grounded generated text in response to an information need instead of the traditional document ranking. Quantifying the utility of these types of responses is essential for evaluating generative retrieval systems. As the established evaluation methodology for ranking-based ad hoc retrieval may seem unsuitable for generative retrieval, new approaches for reliable, repeatable, and reproducible experimentation are required. In this paper, we survey the relevant information retrieval and natural language processing literature, identify search tasks and system architectures in generative retrieval, develop a corresponding user model, and study its operationalization. This theoretical analysis provides a foundation and new insights for the evaluation of generative ad hoc retrieval systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google