LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks

要約

本論文では、LLMが実世界のマルチタスクにわたって深い理解と推論を必要とする長い文脈の問題を処理する能力を評価するために設計されたベンチマークであるLongBench v2を紹介する。LongBench v2は、単一文書QA、複数文書QA、長文文脈内学習、長文対話履歴理解、コードリポジトリ理解、長文構造化データ理解の6つの主要なタスクカテゴリにまたがる、8k語から2M語の文脈を持つ503の難易度の高い多肢選択問題で構成されている。幅の広さと実用性を確保するため、多様な専門的背景を持つ高学歴者100人近くからデータを収集した。高い品質と難易度を維持するために、自動と手動の両方のレビュープロセスを採用し、その結果、人間の専門家は15分の時間制約の下で53.7%の精度しか達成できなかった。私たちの評価では、質問に直接回答した場合、最もパフォーマンスの高いモデルは50.1%の精度しか達成できないことが明らかになりました。対照的に、より長い推論を含むo1-previewモデルは57.7%を達成し、人間のベースラインを4%上回った。これらの結果は、LongBench v2におけるロングコンテキストの課題に取り組むために、推論能力の強化と推論時間計算のスケーリングの重要性を強調している。このプロジェクトはhttps://longbench2.github.io。

要約(オリジナル)

This paper introduces LongBench v2, a benchmark designed to assess the ability of LLMs to handle long-context problems requiring deep understanding and reasoning across real-world multitasks. LongBench v2 consists of 503 challenging multiple-choice questions, with contexts ranging from 8k to 2M words, across six major task categories: single-document QA, multi-document QA, long in-context learning, long-dialogue history understanding, code repository understanding, and long structured data understanding. To ensure the breadth and the practicality, we collect data from nearly 100 highly educated individuals with diverse professional backgrounds. We employ both automated and manual review processes to maintain high quality and difficulty, resulting in human experts achieving only 53.7% accuracy under a 15-minute time constraint. Our evaluation reveals that the best-performing model, when directly answers the questions, achieves only 50.1% accuracy. In contrast, the o1-preview model, which includes longer reasoning, achieves 57.7%, surpassing the human baseline by 4%. These results highlight the importance of enhanced reasoning ability and scaling inference-time compute to tackle the long-context challenges in LongBench v2. The project is available at https://longbench2.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL