TempoSum: Evaluating the Temporal Generalization of Abstractive Summarization

要約

タイトル：TempoSum：抽象的要約の時間的一般化を評価する

要約：

– 近年の事前学習言語モデル（PLM）は、既存の抽象的要約データセットで有望な結果を収めています。
– ただし、既存の要約ベンチマークは、標準的な事前トレーニングコーパスおよびファインチューニングデータセットと時間的に重複しています。
– したがって、PLMの強力なパフォーマンスは、事前トレーニングおよびファインチューニング中に記憶されたパラメトリック知識に依存する可能性があります。
– さらに、PLMによって記憶された知識は、すぐに時代遅れになるため、将来のデータに対するPLMの一般化性能に影響を与えます。
– この論文では、2010年から2022年までのデータサンプルを含む新しいベンチマークTempoSumを提案し、抽象的要約モデルの時間的一般化能力を理解します。
– 広範な人間評価により、要約モデルに記憶されたパラメトリック知識が将来のデータにおける生成された要約の信頼性に重要な影響を与えることを示します。
– さらに、既存の信頼性向上方法は、将来のデータにおける要約モデルの信頼性を信頼できる方法で向上することができません。
– 最後に、テキスト要約モデルの時間的一般化能力を評価および改善するための研究コミュニティへのいくつかの提言について説明します。

要約(オリジナル)

Recent pre-trained language models (PLMs) achieve promising results in existing abstractive summarization datasets. However, existing summarization benchmarks overlap in time with the standard pre-training corpora and finetuning datasets. Hence, the strong performance of PLMs may rely on the parametric knowledge that is memorized during pre-training and fine-tuning. Moreover, the knowledge memorized by PLMs may quickly become outdated, which affects the generalization performance of PLMs on future data. In this work, we propose TempoSum, a novel benchmark that contains data samples from 2010 to 2022, to understand the temporal generalization ability of abstractive summarization models. Through extensive human evaluation, we show that parametric knowledge stored in summarization models significantly affects the faithfulness of the generated summaries on future data. Moreover, existing faithfulness enhancement methods cannot reliably improve the faithfulness of summarization models on future data. Finally, we discuss several recommendations to the research community on how to evaluate and improve the temporal generalization capability of text summarization models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI