Automated scholarly paper review: Concepts, technologies, and challenges

要約

タイトル：自動学術論文レビュー：概念、技術、及び課題
要約：
– 学術誌への掲載において、評価の重要性が認められており、それは学界において重要な役割を担っている。
– ピアレビューは学術誌に論文を提出する際に行われる審査の一つであり、 AIの導入によって改善されつつあるが、人間による参加が依然として必要である。
– 本論文では、自動学術論文レビュー（ASPR）の概念と流れ、コンピュータで完全に自動化されたレビュー過程を達成するための関連する文献と技術を提案する。
– また、ASPRLが既に研究され、開発されてきた段階でレビューや議論がされており、従前の機械文章処理と表現、十分でないデータ、不完全な人間とのインタラクション、誤った論理推論という課題がある。
– そして、今後の潜在的な倫理的側面にも言及し、人間に代わる完全な自動採点の過程に向けてASPRLにはしばらくまだ限界がある。
– ASPRLは本来ピアレビューを支援するものであり、最終的には共存することが予想される。

要約(オリジナル)

Peer review is a widely accepted mechanism for research evaluation, playing a pivotal role in academic publishing. However, criticisms have long been leveled on this mechanism, mostly because of its poor efficiency and low reproducibility. Recent years have seen the application of artificial intelligence (AI) in assisting the peer review process. Nonetheless, with the involvement of humans, such limitations remain inevitable. In this paper, we propose the concept and pipeline of automated scholarly paper review (ASPR) and review the relevant literature and technologies of achieving a full-scale computerized review process. On the basis of the review and discussion, we conclude that there is already corresponding research and preliminary implementation at each stage of ASPR. We further look into the challenges in ASPR with the existing technologies. The major difficulties lie in imperfect document parsing and representation, inadequate data, defective human-computer interaction, and flawed deep logical reasoning. Moreover, we discuss the possible moral and ethical issues and point out the future directions of ASPR. In the foreseeable future, ASPR and peer review will coexist in a reinforcing manner before ASPR is able to fully undertake the reviewing workload from humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI