MOPRD: A multidisciplinary open peer review dataset

要約

学術出版物ではオープンな査読が増加傾向にあります。
査読データへのパブリックアクセスは、学術コミュニティと出版コミュニティの両方に利益をもたらします。
また、レビューコメントの生成に関する研究、さらには学術論文レビューの自動化の実現に関する強力なサポートとしても機能します。
ただし、既存の査読データセットのほとんどは、査読プロセス全体をカバーするデータを提供していません。
これとは別に、データは主にコンピューター サイエンスの分野から収集されているため、十分に多様化されていません。
関連研究の機会をさらに増やすには、現在利用可能な査読データセットのこれら 2 つの欠点に対処する必要があります。
これに応えて、私たちは学際的なオープンピアレビューデータセットである MOPRD を構築します。
このデータセットは、論文のメタデータ、複数のバージョンの原稿、レビュー コメント、メタレビュー、著者の反論レター、および編集上の決定で構成されます。
さらに、MOPRDに基づいたモジュール型のガイド付きレビューコメント生成方法を提案します。
実験では、自動メトリクスと人間による評価の両方で示されるように、私たちの方法がより優れたパフォーマンスを提供することが示されています。
また、メタレビューの生成、編集上の決定の予測、著者の反論の生成、サイエントメトリック分析など、MOPRD の他の潜在的なアプリケーションも調査します。
MOPRD は、査読関連の研究やその他の応用におけるさらなる研究を強く推奨します。

要約(オリジナル)

Open peer review is a growing trend in academic publications. Public access to peer review data can benefit both the academic and publishing communities. It also serves as a great support to studies on review comment generation and further to the realization of automated scholarly paper review. However, most of the existing peer review datasets do not provide data that cover the whole peer review process. Apart from this, their data are not diversified enough as the data are mainly collected from the field of computer science. These two drawbacks of the currently available peer review datasets need to be addressed to unlock more opportunities for related studies. In response, we construct MOPRD, a multidisciplinary open peer review dataset. This dataset consists of paper metadata, multiple version manuscripts, review comments, meta-reviews, author’s rebuttal letters, and editorial decisions. Moreover, we propose a modular guided review comment generation method based on MOPRD. Experiments show that our method delivers better performance as indicated by both automatic metrics and human evaluation. We also explore other potential applications of MOPRD, including meta-review generation, editorial decision prediction, author rebuttal generation, and scientometric analysis. MOPRD is a strong endorsement for further studies in peer review-related research and other applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google