What Can Natural Language Processing Do for Peer Review?

要約

毎年作成される科学論文の数は急速に増加しています。
それらの品質管理を提供することは、科学者にとって、そして最終的には公共の利益にとって非常に重要です。
現代科学では、このプロセスは主にピアレビュー、つまり各提出物がその分野の複数の独立した専門家によって評価される分散型の手順に委任されています。
ピアレビューは広く使用されていますが、困難で時間がかかり、間違いが発生しやすいものです。
査読に関わる成果物 (原稿、レビュー、ディスカッション) は主にテキストベースであるため、自然言語処理には査読を改善する大きな可能性があります。
大規模言語モデル (LLM) の出現により、多くの新しいタスクに対する NLP 支援が可能になったため、機械支援による査読に関する議論が加速しています。
しかし、具体的にはどこに助けが必要で、NLP はどこに役立ち、どこに手を差し伸べるべきでしょうか?
私たちの論文の目的は、査読支援のための NLP における将来の取り組みの基盤を提供することです。
AI カンファレンスでの査読を例に、一般的なプロセスとしての査読について説明します。
原稿の提出からカメラ対応の改訂までのプロセスの各ステップを詳しく説明し、既存の研究で示されている、NLP 支援の関連する課題と機会について説明します。
次に、データの取得とライセンス、運用化と実験、倫理問題など、ピアレビュー全体における NLP の大きな課題に目を向けます。
コミュニティの取り組みを統合するために、ピアレビューに関連する主要なデータセットを集約するコンパニオン リポジトリを作成します。
最後に、私たちは科学コミュニティ、NLP および AI 研究者、政策立案者、資金提供団体に対して、査読のための NLP の研究を前進させるための詳細な行動要請を発行します。
私たちは、私たちの研究が、NLP コミュニティ内およびそれを超えた、AI 時代における機械支援による科学的品質管理の研究の課題設定に役立つことを願っています。

要約(オリジナル)

The number of scientific articles produced every year is growing rapidly. Providing quality control over them is crucial for scientists and, ultimately, for the public good. In modern science, this process is largely delegated to peer review — a distributed procedure in which each submission is evaluated by several independent experts in the field. Peer review is widely used, yet it is hard, time-consuming, and prone to error. Since the artifacts involved in peer review — manuscripts, reviews, discussions — are largely text-based, Natural Language Processing has great potential to improve reviewing. As the emergence of large language models (LLMs) has enabled NLP assistance for many new tasks, the discussion on machine-assisted peer review is picking up the pace. Yet, where exactly is help needed, where can NLP help, and where should it stand aside? The goal of our paper is to provide a foundation for the future efforts in NLP for peer-reviewing assistance. We discuss peer review as a general process, exemplified by reviewing at AI conferences. We detail each step of the process from manuscript submission to camera-ready revision, and discuss the associated challenges and opportunities for NLP assistance, illustrated by existing work. We then turn to the big challenges in NLP for peer review as a whole, including data acquisition and licensing, operationalization and experimentation, and ethical issues. To help consolidate community efforts, we create a companion repository that aggregates key datasets pertaining to peer review. Finally, we issue a detailed call for action for the scientific community, NLP and AI researchers, policymakers, and funding bodies to help bring the research in NLP for peer review forward. We hope that our work will help set the agenda for research in machine-assisted scientific quality control in the age of AI, within the NLP community and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google