Search Arena: Analyzing Search-Augmented LLMs

要約

検索の高地言語モデルは、Web検索と大規模な言語モデル（LLMS）を組み合わせて、応答の接地と新鮮さを改善します。
ただし、これらのシステムの分析は依然として困難です。既存のデータセットのスケールが制限されており、範囲が狭く、多くの場合、静的な一ターンのファクトチェックの質問に制約されます。
この作業では、Search-Augmented LLMSとの24,000を超えるペアのマルチターンユーザーインタラクションの群衆が供給された大規模なヒューマンプレーファレンスデータセットであるSearch Arenaを紹介します。
データセットは多様な意図と言語にまたがっており、約12,000の人間の選好票を持つ完全なシステムトレースが含まれています。
私たちの分析では、引用されたコンテンツが認識されたクレームを直接サポートしていない場合でも、ユーザーの好みが引用の数に影響され、知覚された信頼性と実際の信頼性のギャップが明らかになっていることが明らかになりました。
さらに、ユーザーの好みは引用されたソースによって異なり、コミュニティ主導のプラットフォームが一般的に好ましいことを明らかにし、静的百科事典ソースは常に適切で信頼性が高いとは限りません。
さまざまな設定にわたるパフォーマンスを評価するために、汎用チャット環境で検索を実施したLLMをテストし、検索集約型の設定で従来のLLMをテストすることにより、クロスアレナ分析を実施します。
Web検索は劣化せず、検索以外の設定でのパフォーマンスを改善することさえあることがわかります。
ただし、モデルのパラメトリックな知識だけに依存している場合、検索設定の品質は大きな影響を受けます。
この方向での将来の研究をサポートするために、データセットをオープンソーリングしました。
データセットとコードは、https：//github.com/lmarena/search-arenaで入手できます。

要約(オリジナル)

Search-augmented language models combine web search with Large Language Models (LLMs) to improve response groundedness and freshness. However, analyzing these systems remains challenging: existing datasets are limited in scale and narrow in scope, often constrained to static, single-turn, fact-checking questions. In this work, we introduce Search Arena, a crowd-sourced, large-scale, human-preference dataset of over 24,000 paired multi-turn user interactions with search-augmented LLMs. The dataset spans diverse intents and languages, and contains full system traces with around 12,000 human preference votes. Our analysis reveals that user preferences are influenced by the number of citations, even when the cited content does not directly support the attributed claims, uncovering a gap between perceived and actual credibility. Furthermore, user preferences vary across cited sources, revealing that community-driven platforms are generally preferred and static encyclopedic sources are not always appropriate and reliable. To assess performance across different settings, we conduct cross-arena analyses by testing search-augmented LLMs in a general-purpose chat environment and conventional LLMs in search-intensive settings. We find that web search does not degrade and may even improve performance in non-search settings; however, the quality in search settings is significantly affected if solely relying on the model’s parametric knowledge. We open-sourced the dataset to support future research in this direction. Our dataset and code are available at: https://github.com/lmarena/search-arena.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google