DTELS: Towards Dynamic Granularity of Timeline Summarization

要約

オンライン ニュースの急速な普及により、ニュース トピックの継続的な発展を追跡する際に大きな課題が生じています。
従来のタイムライン要約は、イベントの時系列的な要約を構築しますが、多くの場合、多様な粒度のニーズを満たす柔軟性に欠けています。
この制限を克服するために、ユーザーの指示や要件に基づいて適応的なタイムラインを構築することを目的とした新しいパラダイム、Dynamic-granularity TimELine Summarization (DTELS) を導入します。
このペーパーでは、以下を含む DTLES の包括的なベンチマークを確立します。(1) 情報性、粒度の一貫性、事実性、一貫性の 4 つの側面にわたってタイムラインの品質を評価するための、ジャーナリズム標準に基づいた評価フレームワーク。
(2) 権威を促進するためのコンセンサスプロセスに基づく複数の粒度のタイムラインアノテーションを備えた大規模なマルチソースデータセット。
(3) 大規模言語モデル (LLM) と既存の最先端の TLS メソッドに基づいた 2 つの提案されたソリューションによる広範な実験と分析。
実験結果は、LLM ベースのソリューションの有効性を示しています。
ただし、最も先進的な LLM であっても、有益で詳細な一貫性を備えたタイムラインを一貫して生成するのは困難であり、DTELS タスクの課題が浮き彫りになっています。

要約(オリジナル)

The rapid proliferation of online news has posed significant challenges in tracking the continuous development of news topics. Traditional timeline summarization constructs a chronological summary of the events but often lacks the flexibility to meet the diverse granularity needs. To overcome this limitation, we introduce a new paradigm, Dynamic-granularity TimELine Summarization, (DTELS), which aims to construct adaptive timelines based on user instructions or requirements. This paper establishes a comprehensive benchmark for DTLES that includes: (1) an evaluation framework grounded in journalistic standards to assess the timeline quality across four dimensions: Informativeness, Granular Consistency, Factuality, and Coherence; (2) a large-scale, multi-source dataset with multiple granularity timeline annotations based on a consensus process to facilitate authority; (3) extensive experiments and analysis with two proposed solutions based on Large Language Models (LLMs) and existing state-of-the-art TLS methods. The experimental results demonstrate the effectiveness of LLM-based solutions. However, even the most advanced LLMs struggle to consistently generate timelines that are both informative and granularly consistent, highlighting the challenges of the DTELS task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google