GUMsley: Evaluating Entity Salience in Summarization for 12 English Genres

要約

NLP モデルが文字列ではなく一貫したエンティティの観点からドキュメントを理解できるようになっているため、各ドキュメントの最も顕著なエンティティを取得することは、それ自体が重要な最終タスクであるだけでなく、情報検索 (IR) やその他の下流アプリケーションにとっても不可欠です。
制御可能な要約。
この論文では、エンティティ タイプ、ウィキフィケーション リンク、および完全な共参照解決アノテーションに合わせて、12 ジャンルの英語テキストの名前付きおよび名前なしのすべての顕著なエンティティをカバーする最初のエンティティ顕著性データセットである GUMsley を提示および評価します。
私たちは、人間による要約を使用して顕著性の厳密な定義を推進し、ソースエンティティが要約内で言及されているかどうかに基づいて、顕著性についてのアノテーター間の高い一致を実証します。
私たちの評価では、事前トレーニングされた SOTA 要約モデルと、生成された要約で顕著なエンティティをキャプチャする際のゼロショット LLM プロンプトによるパフォーマンスが低いことがわかりました。
また、顕著なエンティティを予測したり、いくつかのモデル アーキテクチャに提供することでパフォーマンスが向上し、既存の抽象的な要約におけるエンティティの幻覚問題を軽減することで、より高品質な要約を導き出すのに役立つことも示します。

要約(オリジナル)

As NLP models become increasingly capable of understanding documents in terms of coherent entities rather than strings, obtaining the most salient entities for each document is not only an important end task in itself but also vital for Information Retrieval (IR) and other downstream applications such as controllable summarization. In this paper, we present and evaluate GUMsley, the first entity salience dataset covering all named and non-named salient entities for 12 genres of English text, aligned with entity types, Wikification links and full coreference resolution annotations. We promote a strict definition of salience using human summaries and demonstrate high inter-annotator agreement for salience based on whether a source entity is mentioned in the summary. Our evaluation shows poor performance by pre-trained SOTA summarization models and zero-shot LLM prompting in capturing salient entities in generated summaries. We also show that predicting or providing salient entities to several model architectures enhances performance and helps derive higher-quality summaries by alleviating the entity hallucination problem in existing abstractive summarization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google