PeerArg: Argumentative Peer Review with LLMs

要約

ピアレビューは、科学的会議や雑誌に提出された論文の質を決定するための不可欠なプロセスです。
しかし、それは主観的でバイアスに陥りやすいです。
NLPの手法を適用するためにピアレビューをサポートするためにいくつかの研究が実施されていますが、それらはブラックボックスのテクニックに基づいており、その出力は解釈と信頼が困難です。
この論文では、ピアレビューのレビューと意思決定プロセスをサポートおよび理解するための新しいパイプラインを提案します。LLMSと知識表現の方法を組み合わせたPeerargシステム。
Peerargは、論文の一連のレビューを入力し、論文の受け入れ予測を出力します。
3つの異なるデータセットでのPeerargパイプラインのパフォーマンスを評価します。これは、レビューを与えられた少数の学習を使用して紙の受け入れを予測する新しいEnd-2-End LLMと比較して評価します。
結果は、End-2-End LLMがレビューからの紙の受け入れを予測できることを示していますが、Peerarg PipelineのバリアントはこのLLMよりも優れています。

要約(オリジナル)

Peer review is an essential process to determine the quality of papers submitted to scientific conferences or journals. However, it is subjective and prone to biases. Several studies have been conducted to apply techniques from NLP to support peer review, but they are based on black-box techniques and their outputs are difficult to interpret and trust. In this paper, we propose a novel pipeline to support and understand the reviewing and decision-making processes of peer review: the PeerArg system combining LLMs with methods from knowledge representation. PeerArg takes in input a set of reviews for a paper and outputs the paper acceptance prediction. We evaluate the performance of the PeerArg pipeline on three different datasets, in comparison with a novel end-2-end LLM that uses few-shot learning to predict paper acceptance given reviews. The results indicate that the end-2-end LLM is capable of predicting paper acceptance from reviews, but a variant of the PeerArg pipeline outperforms this LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google