LongProc: Benchmarking Long-Context Language Models on Long Procedural Generation

要約

ロングコンテキスト言語モデル (LCLM) を評価するための既存のベンチマークは、主にロングコンテキストの想起に焦点を当てており、モデルは数千の無関係なトークンを処理しながら、少数の重要なスニペットに基づいて短い応答を生成する必要があります。
高度に分散した情報の統合と長い形式の生成の両方を必要とする新しいベンチマークである LongProc (Long Procedural Generation) を紹介します。
LongProc は、HTML ページから構造化情報を TSV 形式に抽出したり、旅行計画を作成するための複雑な検索手順を実行したりするなど、6 つの多様な手続き生成タスクで構成されます。
これらのタスクは、詳細な手順の指示に従い、分散した情報を合成して推論し、構造化された長い形式の出力 (最大 8K トークン) を生成する能力をテストすることで、LCLM に挑戦します。
さらに、これらのタスクは決定論的な手順に準拠し、構造化された出力を生成するため、信頼性の高いルールベースの評価が可能になります。
出力トークンの最大数を 500、2K、8K に設定して、LongProc 上の 17 個の LCLM を 3 つの難易度で評価しました。
特に、テストされたすべてのモデルは 32K トークンを超えるコンテキスト ウィンドウ サイズを主張していますが、オープンウェイト モデルは通常 2K トークンのタスクで動作が低下し、GPT-4o のようなクローズドソース モデルは 8K トークンのタスクで大幅な低下を示しています。
さらなる分析により、LCLM は長い形式の世代で長距離の一貫性を維持するのに苦労していることが明らかになりました。
これらの発見は、現在の LCLM の重大な限界を浮き彫りにし、改善の余地が大きいことを示唆しています。
データとコードは https://princeton-pli.github.io/LongProc で入手できます。

要約(オリジナル)

Existing benchmarks for evaluating long-context language models (LCLMs) primarily focus on long-context recall, requiring models to produce short responses based on a few critical snippets while processing thousands of irrelevant tokens. We introduce LongProc (Long Procedural Generation), a new benchmark that requires both the integration of highly dispersed information and long-form generation. LongProc consists of six diverse procedural generation tasks, such as extracting structured information from HTML pages into a TSV format and executing complex search procedures to create travel plans. These tasks challenge LCLMs by testing their ability to follow detailed procedural instructions, synthesize and reason over dispersed information, and generate structured, long-form outputs (up to 8K tokens). Furthermore, as these tasks adhere to deterministic procedures and yield structured outputs, they enable reliable rule-based evaluation. We evaluate 17 LCLMs on LongProc across three difficulty levels, with maximum numbers of output tokens set at 500, 2K, and 8K. Notably, while all tested models claim a context window size above 32K tokens, open-weight models typically falter on 2K-token tasks, and closed-source models like GPT-4o show significant degradation on 8K-token tasks. Further analysis reveals that LCLMs struggle to maintain long-range coherence in long-form generations. These findings highlight critical limitations in current LCLMs and suggest substantial room for improvement. Data and code available at: https://princeton-pli.github.io/LongProc

arxiv情報

提供元, 利用サービス

arxiv.jp, Google