SciReviewGen: A Large-scale Dataset for Automatic Literature Review Generation

要約

文献レビューの自動生成は、自然言語処理において最も困難なタスクの 1 つです。
大規模な言語モデルは文献レビューの生成に取り組んできましたが、大規模なデータセットの欠如が進歩の障害となっていました。
当社は、10,000 件を超える文献レビューとレビューで引用された 690,000 件の論文で構成される SciReviewGen をリリースしています。
データセットに基づいて、文献レビュー生成用に拡張された Fusion-in-Decoder を含む、文献レビュー生成タスクに関する最近のトランスフォーマーベースの要約モデルを評価します。
人間による評価の結果は、機械が生成した要約の一部が人間が書いたレビューと同等であることを示している一方で、幻覚や詳細情報の欠如など、文献レビューの自動生成の課題も明らかにしています。
データセットとコードは https://github.com/etsu9923/SciReviewGen で入手できます。

要約(オリジナル)

Automatic literature review generation is one of the most challenging tasks in natural language processing. Although large language models have tackled literature review generation, the absence of large-scale datasets has been a stumbling block to the progress. We release SciReviewGen, consisting of over 10,000 literature reviews and 690,000 papers cited in the reviews. Based on the dataset, we evaluate recent transformer-based summarization models on the literature review generation task, including Fusion-in-Decoder extended for literature review generation. Human evaluation results show that some machine-generated summaries are comparable to human-written reviews, while revealing the challenges of automatic literature review generation such as hallucinations and a lack of detailed information. Our dataset and code are available at https://github.com/tetsu9923/SciReviewGen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google