DiffuSum: Generation Enhanced Extractive Summarization with Diffusion

要約

タイトル：DiffuSum：拡張された生成的抽出要約手法
要約：
– 抽出的要約は、ソースドキュメントから直接文を抜き出して要約を形成することを目的とする。
– 従来の手法では、一文ごとのラベル予測により、シーケンスラベリング問題として定式化されている。
– 本論文では、DiffuSumという新しい手法を提案し、拡散モデルにより所望の要約の文表現を直接生成して、文表現のマッチングに基づいて文を抽出する。
– さらに、DiffuSumは対照的な文エンコーダを最適化することで、文表現の整合性を測定する一致損失と多クラス対照的な損失の両方を同時に最適化する。
– 実験結果では、ROUGEスコアでCNN/DailyMailの新たな抽出結果の最高を記録し、そのフレームワークの強力なパフォーマンスが、生成的モデルの抽出的要約手法における大きな可能性を示す。

要約(オリジナル)

Extractive summarization aims to form a summary by directly extracting sentences from the source document. Existing works mostly formulate it as a sequence labeling problem by making individual sentence label predictions. This paper proposes DiffuSum, a novel paradigm for extractive summarization, by directly generating the desired summary sentence representations with diffusion models and extracting sentences based on sentence representation matching. In addition, DiffuSum jointly optimizes a contrastive sentence encoder with a matching loss for sentence representation alignment and a multi-class contrastive loss for representation diversity. Experimental results show that DiffuSum achieves the new state-of-the-art extractive results on CNN/DailyMail with ROUGE scores of $44.83/22.56/40.56$. Experiments on the other two datasets with different summary lengths also demonstrate the effectiveness of DiffuSum. The strong performance of our framework shows the great potential of adapting generative models for extractive summarization.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI