DiffuSum: Generation Enhanced Extractive Summarization with Diffusion

要約

抽出的要約は、ソース文書から直接文章を抽出することによって要約を形成することを目的としている。既存の研究では、個々の文のラベル予測を行うことで、それをシーケンスラベリング問題として定式化することがほとんどである。本論文では、拡散モデルを用いて目的の要約文表現を直接生成し、文表現のマッチングに基づいて文を抽出することで、抽出的要約のための新しいパラダイムであるDiffuSumを提案する。さらに、DiffuSumは、文表現整合のためのマッチング損失と、表現多様性のための多クラス対照損失を持つ対照的文エンコーダを共同で最適化する。実験の結果、DiffuSumはCNN/DailyMailにおいて、ROUGEスコア$44.83/22.56/40.56$という最新の抽出結果を達成した。また、要約の長さが異なる他の2つのデータセットでの実験でも、DiffuSumの有効性が実証された。我々のフレームワークの強力な性能は、生成モデルを抽出的要約に適応させることの大きな可能性を示している。今後の研究を促すために、私たちはコードを㊦で公開しています。

要約(オリジナル)

Extractive summarization aims to form a summary by directly extracting sentences from the source document. Existing works mostly formulate it as a sequence labeling problem by making individual sentence label predictions. This paper proposes DiffuSum, a novel paradigm for extractive summarization, by directly generating the desired summary sentence representations with diffusion models and extracting sentences based on sentence representation matching. In addition, DiffuSum jointly optimizes a contrastive sentence encoder with a matching loss for sentence representation alignment and a multi-class contrastive loss for representation diversity. Experimental results show that DiffuSum achieves the new state-of-the-art extractive results on CNN/DailyMail with ROUGE scores of $44.83/22.56/40.56$. Experiments on the other two datasets with different summary lengths also demonstrate the effectiveness of DiffuSum. The strong performance of our framework shows the great potential of adapting generative models for extractive summarization. To encourage more following work in the future, we have released our codes at \url{https://github.com/hpzhang94/DiffuSum}

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL