Automated scholarly paper review: Concepts, technologies, and challenges

要約

査読は研究評価のメカニズムとして広く受け入れられており、学術出版において極めて重要な役割を果たしています。
しかし、主にその効率の悪さと再現性の低さのために、このメカニズムには長い間批判が向けられてきました。
近年、査読プロセスの支援に人工知能 (AI) が応用されています。
それにもかかわらず、人間が関与する場合、そのような制限は避けられないままです。
この論文では、自動学術論文レビュー (ASPR) の概念とパイプラインを提案し、本格的なコンピュータ化されたレビュープロセスを実現するための関連文献と技術をレビューします。
レビューと議論に基づいて、ASPR の各段階で対応する調査と予備的な実装がすでに行われていると結論付けます。
既存のテクノロジーを使用した ASPR の課題をさらに調査します。
主な問題は、不十分なデータ、不完全な文書の解析と表現、欠陥のあるヒューマン$\unicode{x2013}$computer インタラクション、および欠陥のある深い論理的推論にあります。
さらに、将来の方向性を指摘し、ASPR で起こり得る道徳的および倫理的問題について議論します。
近い将来、ASPR が人間によるレビュー作業負荷を完全に引き受けられるようになるまで、ASPR とピアレビューは強化された方法で共存することになります。

要約(オリジナル)

Peer review is a widely accepted mechanism for research evaluation, playing a pivotal role in academic publishing. However, criticisms have long been leveled at this mechanism, mostly because of its poor efficiency and low reproducibility. Recent years have seen the application of artificial intelligence (AI) in assisting the peer review process. Nonetheless, with the involvement of humans, such limitations remain inevitable. In this paper, we propose the concept and pipeline of automated scholarly paper review (ASPR) and review the relevant literature and technologies of achieving a full-scale computerized review process. On the basis of the review and discussion, we conclude that there is already corresponding research and preliminary implementation at each stage of ASPR. We further look into the challenges in ASPR with the existing technologies. The major difficulties lie in inadequate data, imperfect document parsing and representation, defective human$\unicode{x2013}$computer interaction, and flawed deep logical reasoning. Moreover, we point out the future directions and discuss the possible moral and ethical issues of ASPR. In the foreseeable future, ASPR and peer review will coexist in a reinforcing manner before ASPR is able to fully undertake the reviewing workload from humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google