要約
OpenReviewerは、機械学習とAIのカンファレンス論文の高品質な査読を生成するためのオープンソースシステムです。Llama-OpenReviewer-8Bは、8Bのパラメータを持つ言語モデルであり、トップカンファレンスからの79,000件の専門家レビューに基づいて特別に微調整されています。OpenReviewerは、PDFの投稿論文とレビューテンプレートを入力として与えると、数式や表などの技術的な内容を含む全文を抽出し、学会固有のガイドラインに従って構造化されたレビューを生成します。400のテスト論文に対する我々の評価では、OpenReviewerはGPT-4やClaude-3.5のような汎用のLLMと比較して、かなり批判的で現実的なレビューを生成することがわかりました。他のLLMが過度に肯定的な評価をする傾向があるのに対し、OpenReviewerの推奨は人間の査読者の評価分布と密接に一致しています。このシステムは、投稿前に原稿を改善するための迅速で建設的なフィードバックを著者に提供しますが、人間の査読に取って代わることを意図したものではありません。OpenReviewerは、オンラインデモおよびオープンソースツールとして利用可能です。
要約(オリジナル)
We present OpenReviewer, an open-source system for generating high-quality peer reviews of machine learning and AI conference papers. At its core is Llama-OpenReviewer-8B, an 8B parameter language model specifically fine-tuned on 79,000 expert reviews from top conferences. Given a PDF paper submission and review template as input, OpenReviewer extracts the full text, including technical content like equations and tables, and generates a structured review following conference-specific guidelines. Our evaluation on 400 test papers shows that OpenReviewer produces considerably more critical and realistic reviews compared to general-purpose LLMs like GPT-4 and Claude-3.5. While other LLMs tend toward overly positive assessments, OpenReviewer’s recommendations closely match the distribution of human reviewer ratings. The system provides authors with rapid, constructive feedback to improve their manuscripts before submission, though it is not intended to replace human peer review. OpenReviewer is available as an online demo and open-source tool.
arxiv情報
| 著者 | Maximilian Idahl,Zahra Ahmadi |
| 発行日 | 2025-03-03 13:58:56+00:00 |
| arxivサイト | arxiv_id(pdf) |