Unsupervised Summarization by Jointly Extracting Sentences and Keywords

要約

我々は、抽出的な複数文書の要約のための教師なしグラフベースのランキング モデルである RepRank を紹介します。このモデルでは、単語、文、および単語と文の間の類似性を、統一ベクトル空間内のベクトル表現間の距離によって推定できます。
望ましい表現を得るために、我々は、単語埋め込みの重み付き合計によって文を表現する自己注意ベースの学習方法を提案します。重みは、ドキュメントの内容をよりよく反映することが期待される単語に集中します。
私たちは、学習した表現を使用して、結合および相互強化プロセスで顕著な文とキーワードを抽出できることを示し、このプロセスが常にパフォーマンスの向上につながる一意の解決策に収束することを証明します。
冗長性を回避し、要約の多様性を高めるために、ランダム ウォークを吸収する変形例と、対応するサンプリング ベースのアルゴリズムについても説明します。
複数のベンチマーク データセットを使用した実験結果は、RepRank が ROUGE で最高または同等のパフォーマンスを達成したことを示しています。

要約(オリジナル)

We present RepRank, an unsupervised graph-based ranking model for extractive multi-document summarization in which the similarity between words, sentences, and word-to-sentence can be estimated by the distances between their vector representations in a unified vector space. In order to obtain desirable representations, we propose a self-attention based learning method that represent a sentence by the weighted sum of its word embeddings, and the weights are concentrated to those words hopefully better reflecting the content of a document. We show that salient sentences and keywords can be extracted in a joint and mutual reinforcement process using our learned representations, and prove that this process always converges to a unique solution leading to improvement in performance. A variant of absorbing random walk and the corresponding sampling-based algorithm are also described to avoid redundancy and increase diversity in the summaries. Experiment results with multiple benchmark datasets show that RepRank achieved the best or comparable performance in ROUGE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google