MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction

要約

キーフレーズ抽出 (KPE) は、コア コンテンツの簡潔な要約を提供するドキュメント内のフレーズを自動的に抽出します。これは、ダウンストリームの情報検索と NLP タスクに役立ちます。
以前の最先端 (SOTA) メソッドは、候補の学習表現とドキュメント間の類似性に基づいて候補キーフレーズを選択します。
キーフレーズ候補の表現とドキュメント間の不一致を引き起こすシーケンスの長さの不一致により、長いドキュメントではパフォーマンスが低下します。
この作業では、新しい教師なし埋め込みベースの KPE アプローチである Masked Document Embedding Rank (MDERank) を提案し、マスク戦略を活用し、ソース ドキュメントとマスクされたドキュメントの埋め込み間の類似性によって候補をランク付けすることで、この問題に対処します。
バニラBERTよりもMDERankとの互換性が高い、新しい自己教師付き対照学習法を提案することにより、KPE指向のBERT（KPEBERT）モデルをさらに開発します。
6 つの KPE ベンチマークでの包括的な評価は、提案された MDERank が最先端の教師なし KPE アプローチよりも平均 1.80 $F1@15$ 改善されていることを示しています。
MDERank はさらに KPEBERT の恩恵を受け、全体として SOTA SIFRank よりも平均 3.53 $F1@15$ 向上しています。
コードは \url{https://github.com/LinhanZ/mderank} で入手できます。

要約(オリジナル)

Keyphrase extraction (KPE) automatically extracts phrases in a document that provide a concise summary of the core content, which benefits downstream information retrieval and NLP tasks. Previous state-of-the-art (SOTA) methods select candidate keyphrases based on the similarity between learned representations of the candidates and the document. They suffer performance degradation on long documents due to discrepancy between sequence lengths which causes mismatch between representations of keyphrase candidates and the document. In this work, we propose a novel unsupervised embedding-based KPE approach, Masked Document Embedding Rank (MDERank), to address this problem by leveraging a mask strategy and ranking candidates by the similarity between embeddings of the source document and the masked document. We further develop a KPE-oriented BERT (KPEBERT) model by proposing a novel self-supervised contrastive learning method, which is more compatible to MDERank than vanilla BERT. Comprehensive evaluations on six KPE benchmarks demonstrate that the proposed MDERank outperforms state-of-the-art unsupervised KPE approach by average 1.80 $F1@15$ improvement. MDERank further benefits from KPEBERT and overall achieves average 3.53 $F1@15$ improvement over the SOTA SIFRank. Our code is available at \url{https://github.com/LinhanZ/mderank}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google