LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks

要約

このペーパーでは、現実世界のマルチタスクにわたる深い理解と推論を必要とするロングコンテキストの問題を処理する LLM の能力を評価するために設計されたベンチマークである LongBench v2 を紹介します。
LongBench v2 は、単一文書 QA、複数文書 QA、長時間のコンテキスト内学習、長時間の対話履歴の理解、コード リポジトリの 6 つの主要なタスク カテゴリにわたる、8,000 語から 200 万語の範囲のコンテキストを含む 503 の難しい多肢選択の質問で構成されています。
理解と、長い構造化データの理解。
広さと実用性を確保するために、私たちはさまざまな職業的背景を持つ約 100 人の高学歴の個人からデータを収集します。
当社では、高い品質と難易度を維持するために、自動化されたレビュー プロセスと手動のレビュー プロセスの両方を採用しています。その結果、人間の専門家が 15 分の時間制約の下で達成できる精度は 53.7% にすぎません。
私たちの評価では、質問に直接答えた場合、最もパフォーマンスの高いモデルは 50.1% の精度しか達成できないことが明らかになりました。
対照的に、より長い推論を含む o1-プレビュー モデルは 57.7% を達成し、人間のベースラインを 4% 上回りました。
これらの結果は、LongBench v2 のロングコンテキストの課題に取り組むために強化された推論能力と推論時間の計算のスケーリングの重要性を強調しています。
プロジェクトは https://longbench2.github.io で入手できます。

要約(オリジナル)

This paper introduces LongBench v2, a benchmark designed to assess the ability of LLMs to handle long-context problems requiring deep understanding and reasoning across real-world multitasks. LongBench v2 consists of 503 challenging multiple-choice questions, with contexts ranging from 8k to 2M words, across six major task categories: single-document QA, multi-document QA, long in-context learning, long-dialogue history understanding, code repository understanding, and long structured data understanding. To ensure the breadth and the practicality, we collect data from nearly 100 highly educated individuals with diverse professional backgrounds. We employ both automated and manual review processes to maintain high quality and difficulty, resulting in human experts achieving only 53.7% accuracy under a 15-minute time constraint. Our evaluation reveals that the best-performing model, when directly answers the questions, achieves only 50.1% accuracy. In contrast, the o1-preview model, which includes longer reasoning, achieves 57.7%, surpassing the human baseline by 4%. These results highlight the importance of enhanced reasoning ability and scaling inference-time compute to tackle the long-context challenges in LongBench v2. The project is available at https://longbench2.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google