Evaluating Verifiability in Generative Search Engines

要約

【タイトル】生成型検索エンジンにおける検証性の評価
【要約】
– 生成型検索エンジンは、ユーザーのクエリに対して直接応答を生成し、インライン引用を提供する。
– 信頼性の高い生成型検索エンジンの前提条件は、完全な引用再現率（すべてのステートメントが引用で完全にサポートされる）と高精度な引用（すべての引用が関連付けられたステートメントを支持する）である。
– さまざまなソース（たとえば、Googleのユーザークエリ、Redditで収集されたオープンエンドの質問など）の多様なクエリに対して、Bing Chat、NeevaAI、perplexity.ai、YouChatの4つの一般的な生成型検索エンジンを人間が評価した。
– 既存の生成型検索エンジンからの応答は流暢で情報を提供しているが、未サポートステートメントや不正確な引用が頻繁に含まれていることがわかった。
– 平均的には、生成された文のわずか51.5％が完全な引用でサポートされ、引用のうち74.5％だけが関連するステートメントを支持している。
– これらの結果は、信頼性の高い情報を求めるユーザーの主要なツールとして使用される可能性のあるシステムにとって、懸念すべき低さであると考えられる。
– これらの結果は、信頼性の高い生成型検索エンジンの開発を促進することを目的としており、既存の商用システムの欠点をよりよく理解することに役立つことを期待している。

要約(オリジナル)

Generative search engines directly generate responses to user queries, along with in-line citations. A prerequisite trait of a trustworthy generative search engine is verifiability, i.e., systems should cite comprehensively (high citation recall; all statements are fully supported by citations) and accurately (high citation precision; every cite supports its associated statement). We conduct human evaluation to audit four popular generative search engines — Bing Chat, NeevaAI, perplexity.ai, and YouChat — across a diverse set of queries from a variety of sources (e.g., historical Google user queries, dynamically-collected open-ended questions on Reddit, etc.). We find that responses from existing generative search engines are fluent and appear informative, but frequently contain unsupported statements and inaccurate citations: on average, a mere 51.5% of generated sentences are fully supported by citations and only 74.5% of citations support their associated sentence. We believe that these results are concerningly low for systems that may serve as a primary tool for information-seeking users, especially given their facade of trustworthiness. We hope that our results further motivate the development of trustworthy generative search engines and help researchers and users better understand the shortcomings of existing commercial systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI