要約
ピアレビューはアカデミック出版の中心ですが、提出量の増加はプロセスに緊張しています。
これにより、ピアレビューをサポートするための計算アプローチの開発が動機付けられます。
各レビューは特定の論文に合わせて調整されていますが、レビュアーはしばしば、研究コミュニティの価値を反映したノベルティなどの特定の側面に従って評価を行います。
このアラインメントは、レビュープロセスを標準化し、品質管理の改善、計算サポートを可能にする機会を生み出します。
以前の研究では、ピアレビュー支援のアスペクト分析の可能性が実証されていますが、アスペクトの概念は依然として不十分に形式化されています。
既存のアプローチは、多くの場合、主要なNLP会場のレビューフォームとガイドラインからアスペクトセットを導き出しますが、アスペクト識別のためのデータ駆動型の方法はほとんど露出していません。
このギャップに対処するために、私たちの作業はボトムアップアプローチを取ります。私たちは、アスペクトの運用上の定義を提案し、ピアレビューのコーパスからきめ細かい側面を導き出すためのデータ駆動型スキーマを開発します。
アスペクトで拡張されたピアレビューのデータセットを紹介し、コミュニティレベルのレビュー分析にどのように使用できるかを示します。
さらに、LLMで生成されたレビュー検出など、側面の選択がダウンストリームアプリケーションにどのように影響するかを示します。
私たちの結果は、レビューの側面の原則的かつデータ主導の調査の基盤を築き、ピアレビューをサポートするためにNLPの新しいアプリケーションの道を開いています。
要約(オリジナル)
Peer review is central to academic publishing, but the growing volume of submissions is straining the process. This motivates the development of computational approaches to support peer review. While each review is tailored to a specific paper, reviewers often make assessments according to certain aspects such as Novelty, which reflect the values of the research community. This alignment creates opportunities for standardizing the reviewing process, improving quality control, and enabling computational support. While prior work has demonstrated the potential of aspect analysis for peer review assistance, the notion of aspect remains poorly formalized. Existing approaches often derive aspect sets from review forms and guidelines of major NLP venues, yet data-driven methods for aspect identification are largely underexplored. To address this gap, our work takes a bottom-up approach: we propose an operational definition of aspect and develop a data-driven schema for deriving fine-grained aspects from a corpus of peer reviews. We introduce a dataset of peer reviews augmented with aspects and show how it can be used for community-level review analysis. We further show how the choice of aspects can impact downstream applications, such as LLM-generated review detection. Our results lay a foundation for a principled and data-driven investigation of review aspects, and pave the path for new applications of NLP to support peer review.
arxiv情報
| 著者 | Sheng Lu,Ilia Kuznetsov,Iryna Gurevych |
| 発行日 | 2025-04-09 14:14:42+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google