Generation of Highlights from Research Papers Using Pointer-Generator Networks and SciBERT Embeddings

要約

現在、多くの研究論文では、論文の主な結果を要約するために研究のハイライトが先頭に付けられています。
ハイライトは、研究者が論文の貢献を正確かつ迅速に特定するのに役立つだけでなく、検索エンジンでの論文の見つけやすさも高めます。
私たちは、研究論文の特定のセグメントを考慮して、研究のハイライトを自動的に構築することを目指しています。
カバレッジメカニズムを備えたポインタージェネレーターネットワークと、入力トークンを SciBERT 埋め込みにエンコードする入力のコンテキスト埋め込み層を使用します。
ベンチマーク データセット CSPubSum でモデルをテストし、研究ハイライトを自動生成するための新しい学際的な論文コーパスである MixSub も紹介します。
CSPubSum と MixSub の両方について、提案されたモデルが関連するバリアントや文献で提案されている他のモデルと比較して最高のパフォーマンスを達成することが観察されました。
CSPubSum データセットでは、入力が論文の他の部分ではなく論文の要約のみである場合に、モデルは最高のパフォーマンスを達成します。
ROUGE-1、ROUGE-2、および ROUGE-L の F1 スコアはそれぞれ 38.26、14.26、および 35.51、METEOR スコアは 32.62、BERTScore F1 は 86.65 であり、他のすべてのベースラインを上回っています。
要約のみが入力である新しい MixSub データセットでは、提案されたモデル (主題カテゴリを区別せずにトレーニング コーパス全体でトレーニングした場合) は、ROUGE-1、ROUGE-2、および ROUGE-L の F1 スコア 31.78 を達成しました。
それぞれ9.76と29.3、METEORスコアは24.00、BERTScore F1は85.25でした。

要約(オリジナル)

Nowadays many research articles are prefaced with research highlights to summarize the main findings of the paper. Highlights not only help researchers precisely and quickly identify the contributions of a paper, they also enhance the discoverability of the article via search engines. We aim to automatically construct research highlights given certain segments of a research paper. We use a pointer-generator network with coverage mechanism and a contextual embedding layer at the input that encodes the input tokens into SciBERT embeddings. We test our model on a benchmark dataset, CSPubSum, and also present MixSub, a new multi-disciplinary corpus of papers for automatic research highlight generation. For both CSPubSum and MixSub, we have observed that the proposed model achieves the best performance compared to related variants and other models proposed in the literature. On the CSPubSum dataset, our model achieves the best performance when the input is only the abstract of a paper as opposed to other segments of the paper. It produces ROUGE-1, ROUGE-2 and ROUGE-L F1-scores of 38.26, 14.26 and 35.51, respectively, METEOR score of 32.62, and BERTScore F1 of 86.65 which outperform all other baselines. On the new MixSub dataset, where only the abstract is the input, our proposed model (when trained on the whole training corpus without distinguishing between the subject categories) achieves ROUGE-1, ROUGE-2 and ROUGE-L F1-scores of 31.78, 9.76 and 29.3, respectively, METEOR score of 24.00, and BERTScore F1 of 85.25.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google