Just What You Desire: Constrained Timeline Summarization with Self-Reflection for Enhanced Relevance

要約

著名人や組織などのエンティティに関するニュース記事が与えられた場合、タイムライン要約 (TLS) では、そのエンティティに関する主要なイベントを要約するタイムラインを生成します。
ただし、TLS タスクは、各読者にとって興味のある内容が異なる可能性があるため、仕様が過小評価されており、単一の理想的または最適なタイムラインは存在しません。
このペーパーでは、タイムライン内のすべてのイベントが何らかの制約を満たすタイムラインが生成される、制約付きタイムライン要約 (CTLS) と呼ばれる新しいタスクを紹介します。
制約されたタイムラインの例としては、タイガー ウッズの法廷闘争が挙げられます。ここでは、彼の法的問題に関連する出来事のみがタイムラインに表示されるように選択されています。
私たちは、47 のエンティティとエンティティごとに 5 つの制約を含む、制約付きタイムラインの人間によって検証された新しいデータセットを収集しました。
私たちは、大規模言語モデル (LLM) を使用して、指定された制約に従ってニュース記事を要約し、それらをクラスタリングして、制約のあるタイムラインに含める重要なイベントを特定するアプローチを提案します。
さらに、要約生成時の新しい自己反映方法を提案し、このアプローチがパフォーマンスの向上に成功することを示しています。

要約(オリジナル)

Given news articles about an entity, such as a public figure or organization, timeline summarization (TLS) involves generating a timeline that summarizes the key events about the entity. However, the TLS task is too underspecified, since what is of interest to each reader may vary, and hence there is not a single ideal or optimal timeline. In this paper, we introduce a novel task, called Constrained Timeline Summarization (CTLS), where a timeline is generated in which all events in the timeline meet some constraint. An example of a constrained timeline concerns the legal battles of Tiger Woods, where only events related to his legal problems are selected to appear in the timeline. We collected a new human-verified dataset of constrained timelines involving 47 entities and 5 constraints per entity. We propose an approach that employs a large language model (LLM) to summarize news articles according to a specified constraint and cluster them to identify key events to include in a constrained timeline. In addition, we propose a novel self-reflection method during summary generation, demonstrating that this approach successfully leads to improved performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google