Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization

要約

教師なし抽出要約は、文書から重要な文をラベル付けされたデータなしで要約として抽出することを目的としています。
最近の文献では、主に文の類似性を利用して文を顕著性の順にランク付けする方法が研究されています。
ただし、事前にトレーニングされた言語モデルを使用した文の類似性推定では、ほとんどの場合、ドキュメント レベルの情報がほとんど考慮されず、文の顕著性ランキングとの相関が弱いです。
この論文では、教師なし抽出要約の文類似性推定を改善するための2つの新しい戦略を提案しました。
対照学習を使用して、同じドキュメントの文は異なるドキュメントの文よりも類似しているというドキュメント レベルの目標を最適化します。
さらに、相互学習を使用して、文の類似性推定と文の顕著性ランキングの間の関係を強化します。ここでは、追加の信号増幅器を使用して重要な情報を絞り込みます。
実験結果は、私たちの戦略の有効性を示しています。

要約(オリジナル)

Unsupervised extractive summarization aims to extract salient sentences from a document as the summary without labeled data. Recent literatures mostly research how to leverage sentence similarity to rank sentences in the order of salience. However, sentence similarity estimation using pre-trained language models mostly takes little account of document-level information and has a weak correlation with sentence salience ranking. In this paper, we proposed two novel strategies to improve sentence similarity estimation for unsupervised extractive summarization. We use contrastive learning to optimize a document-level objective that sentences from the same document are more similar than those from different documents. Moreover, we use mutual learning to enhance the relationship between sentence similarity estimation and sentence salience ranking, where an extra signal amplifier is used to refine the pivotal information. Experimental results demonstrate the effectiveness of our strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google