Large language models for automated scholarly paper review: A survey

要約

大規模言語モデル (LLM) は人間社会に大きな影響を与え、さまざまな領域に影響を与えています。
その中でも、学術界は単に LLM の影響を受ける領域ではなく、LLM の発展において極めて重要な力でもあります。
学術出版物では、この現象は、原稿を審査するための査読メカニズムに LLM を組み込む際に表れます。
私たちは前回の論文で自動学術論文レビュー (ASPR) の概念を提案しました。
法人化が進むにつれ、現在は ASPR とピアレビューの共存段階に入っていますが、これについてはその論文で説明されています。
LLM は、ASPR の本格的な実装に向けた変革の可能性を秘めていますが、対処する必要のある新たな問題や課題も引き起こします。
この調査報告書では、LLM 時代の ASPR の全体像を提供することを目的としています。
まず、ASPR の実施にどの LLM が使用されているかを調査することから始めます。
次に、LLM テクノロジーの導入により ASPR 関連の技術的ボトルネックがどのように解決されたかを検討します。
その後、新しいメソッド、新しいデータセット、新しいソース コード、ASPR 用の LLM に付属する新しいオンライン システムの探索に進みます。
さらに、ASPR における LLM のパフォーマンスと問題点を要約し、ASPR に対する出版社と学術界の態度と反応を調査します。
最後に、ASPR 用の LLM の開発に関連する課題について説明します。
この調査が研究者にとってインスピレーションの参考となり、実際の実装に向けて ASPR の進歩が促進されることを願っています。

要約(オリジナル)

Large language models (LLMs) have significantly impacted human society, influencing various domains. Among them, academia is not simply a domain affected by LLMs, but it is also the pivotal force in the development of LLMs. In academic publications, this phenomenon is represented during the incorporation of LLMs into the peer review mechanism for reviewing manuscripts. We proposed the concept of automated scholarly paper review (ASPR) in our previous paper. As the incorporation grows, it now enters the coexistence phase of ASPR and peer review, which is described in that paper. LLMs hold transformative potential for the full-scale implementation of ASPR, but they also pose new issues and challenges that need to be addressed. In this survey paper, we aim to provide a holistic view of ASPR in the era of LLMs. We begin with a survey to find out which LLMs are used to conduct ASPR. Then, we review what ASPR-related technological bottlenecks have been solved with the incorporation of LLM technology. After that, we move on to explore new methods, new datasets, new source code, and new online systems that come with LLMs for ASPR. Furthermore, we summarize the performance and issues of LLMs in ASPR, and investigate the attitudes and reactions of publishers and academia to ASPR. Lastly, we discuss the challenges associated with the development of LLMs for ASPR. We hope this survey can serve as an inspirational reference for the researchers and promote the progress of ASPR for its actual implementation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google