LCFO: Long Context and Long Form Output Dataset and Benchmarking

要約

このペーパーでは、さまざまなドメインにわたる段階的な要約と要約拡張機能を評価するための新しい評価フレームワークである Long Context and Form Output (LCFO) ベンチマークを紹介します。
LCFO は長い入力ドキュメント (平均長 5,000 ワード) で構成されており、各ドキュメントには長さの異なる 3 つの要約 (入力テキストの 20%、10%、5%) と約 15 の質問と回答 (QA) が含まれています。
入力内容に関係するもの。
特に、LCFO は、特定の QA ペアと 7 つのドメインの対応する概要の間の調整も提供します。
さまざまな長さの要約を提供する主な動機は、短い入力から長いテキストを生成するための制御可能なフレームワーク、つまり要約の拡張を確立することです。
要約と要約拡張のための評価指標フレームワークを確立するために、人間が生成した出力に対する人間による評価スコアと、さまざまな最先端の大規模言語モデル (LLM) からの結果を提供します。
GPT-4o-mini は、要約タスクと要約展開タスクの両方で自動システムの中で人間による最高のスコアを達成しました (それぞれ、約 +10% および +20%)。
短い要約の場合、人間の出力品質をも上回ります (~ +7%)。
全体的な自動メトリクスは、人間の評価スコアとの相関は低い (~ 0.4) が、流暢さや帰属などの特定の評価側面では中程度の相関 (~ 0.6) を達成します。
LCFO ベンチマークは、要約と要約展開のパフォーマンスを評価するための標準化されたプラットフォームと、対応する自動メトリクスを提供し、生成 AI を進歩させるための重要な評価フレームワークを提供します。

要約(オリジナル)

This paper presents the Long Context and Form Output (LCFO) benchmark, a novel evaluation framework for assessing gradual summarization and summary expansion capabilities across diverse domains. LCFO consists of long input documents (5k words average length), each of which comes with three summaries of different lengths (20%, 10%, and 5% of the input text), as well as approximately 15 questions and answers (QA) related to the input content. Notably, LCFO also provides alignments between specific QA pairs and corresponding summaries in 7 domains. The primary motivation behind providing summaries of different lengths is to establish a controllable framework for generating long texts from shorter inputs, i.e. summary expansion. To establish an evaluation metric framework for summarization and summary expansion, we provide human evaluation scores for human-generated outputs, as well as results from various state-of-the-art large language models (LLMs). GPT-4o-mini achieves best human scores among automatic systems in both summarization and summary expansion tasks (~ +10% and +20%, respectively). It even surpasses human output quality in the case of short summaries (~ +7%). Overall automatic metrics achieve low correlations with human evaluation scores (~ 0.4) but moderate correlation on specific evaluation aspects such as fluency and attribution (~ 0.6). The LCFO benchmark offers a standardized platform for evaluating summarization and summary expansion performance, as well as corresponding automatic metrics, thereby providing an important evaluation framework to advance generative AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google