Synthesizing Scientific Summaries: An Extractive and Abstractive Approach

要約

どのような研究分野でも膨大な数の研究論文が入手できるため、実施された主要な研究とそれに対応する調査結果を提示できる自動要約システムが必要になります。
科学論文の要約は、最新のトランスフォーマー モデルにおけるトークン長の制限や、長いテキストに対応するメモリとコンピューティングの要件など、さまざまな理由から困難なタスクです。
この分野では、既存の変圧器モデルの注意メカニズムを変更するアプローチや、談話情報を利用して研究論文の長距離依存関係を捉えるアプローチなど、かなりの量の研究が行われてきました。
この論文では、抽出的アプローチと抽象的アプローチを組み込んだ、研究論文の要約のためのハイブリッド方法論を提案します。
私たちは抽出的なアプローチを使用して研究の主要な結果を捉え、それを研究の動機を捉える論文の紹介と組み合わせます。
抽出段階では教師なし学習に基づく 2 つのモデルと 2 つのトランスフォーマー言語モデルを使用し、ハイブリッド アプローチでは 4 つの組み合わせが得られます。
モデルのパフォーマンスは 3 つの指標に基づいて評価されており、その結果をこのホワイト ペーパーで紹介します。
ハイパーパラメータの特定の組み合わせを使用すると、自動要約システムが人間によって作成された要約の抽象性を超える可能性があることがわかりました。
最後に、この方法論を一般化された長い文書の要約に拡張するという将来の研究範囲について述べます。

要約(オリジナル)

The availability of a vast array of research papers in any area of study, necessitates the need of automated summarisation systems that can present the key research conducted and their corresponding findings. Scientific paper summarisation is a challenging task for various reasons including token length limits in modern transformer models and corresponding memory and compute requirements for long text. A significant amount of work has been conducted in this area, with approaches that modify the attention mechanisms of existing transformer models and others that utilise discourse information to capture long range dependencies in research papers. In this paper, we propose a hybrid methodology for research paper summarisation which incorporates an extractive and abstractive approach. We use the extractive approach to capture the key findings of research, and pair it with the introduction of the paper which captures the motivation for research. We use two models based on unsupervised learning for the extraction stage and two transformer language models, resulting in four combinations for our hybrid approach. The performances of the models are evaluated on three metrics and we present our findings in this paper. We find that using certain combinations of hyper parameters, it is possible for automated summarisation systems to exceed the abstractiveness of summaries written by humans. Finally, we state our future scope of research in extending this methodology to summarisation of generalised long documents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google