PhantomWiki: On-Demand Datasets for Reasoning and Retrieval Evaluation

要約

大規模な言語モデル（LLM）の推論と検索機能を評価するためには、高品質のベンチマークが不可欠です。
ただし、この目的のためにデータセットをキュレーションすることは、データの漏れやパフォーマンスの結果が膨らむ傾向があるため、永続的な解決策ではありません。
これらの課題に対処するために、Phantomwikiを提案します。パイプラインでは、多様な質問回答ペアを持つユニークで事実上一貫した文書コーパスを生成します。
以前の作業とは異なり、Phantomwikiは固定データセットではなく、既存のデータに基づいていません。
代わりに、各評価に対して新しいPhantomwikiインスタンスがオンデマンドで生成されます。
問題の難易度とコーパスのサイズは、それぞれ推論と検索機能をそれぞれ解きほぐすことで変化させます。Phantomwikiデータセットは、フロンティアLLMSにとって驚くほど困難であることがわかります。
したがって、推論、検索、およびツール使用能力を解き放つ評価のためのスケーラブルおよびデータリーク耐性フレームワークを提供します。
私たちのコードは、https：//github.com/kilian-group/phantom-wikiで入手できます。

要約(オリジナル)

High-quality benchmarks are essential for evaluating reasoning and retrieval capabilities of large language models (LLMs). However, curating datasets for this purpose is not a permanent solution as they are prone to data leakage and inflated performance results. To address these challenges, we propose PhantomWiki: a pipeline to generate unique, factually consistent document corpora with diverse question-answer pairs. Unlike prior work, PhantomWiki is neither a fixed dataset, nor is it based on any existing data. Instead, a new PhantomWiki instance is generated on demand for each evaluation. We vary the question difficulty and corpus size to disentangle reasoning and retrieval capabilities respectively, and find that PhantomWiki datasets are surprisingly challenging for frontier LLMs. Thus, we contribute a scalable and data leakage-resistant framework for disentangled evaluation of reasoning, retrieval, and tool-use abilities. Our code is available at https://github.com/kilian-group/phantom-wiki.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google