exHarmony: Authorship and Citations for Benchmarking the Reviewer Assignment Problem

要約

ピアレビュープロセスは、学術的な仕事の質と信頼性を確保するために重要ですが、適切なレビュアーを割り当てることは依然として重要な課題です。
従来の手動方法は労働集約的であり、しばしば効果がなく、非建設的または偏ったレビューにつながります。
このペーパーでは、レビュアーの割り当て問題（RAP）を検索タスクとして再想像することにより、これらの課題に対処するように設計された、呼び出（eharmony）を紹介するベンチマークを紹介します。
Openalexからの広範なデータを利用して、原稿に適したレビューアの潜在的な指標として、著者、最も類似の専門家、引用関係を考慮する新しいアプローチを提案します。
このアプローチにより、明示的なラベルを必要とせずにレビュー担当者の割り当て問題を評価するための標準のベンチマークデータセットを開発できます。
従来の語彙マッチング、静的神経埋め込み、文脈化された神経埋め込みなど、さまざまな方法をベンチマークし、RAPのコンテキストで関連性と多様性の両方を評価する評価メトリックを導入します。
私たちの結果は、従来の方法は合理的にうまく機能するが、学術文献で訓練された文脈化された埋め込みが最高のパフォーマンスを示していることを示しています。
この調査結果は、レビュー担当者の割り当ての多様性と有効性を高めるためのさらなる研究の重要性を強調しています。

要約(オリジナル)

The peer review process is crucial for ensuring the quality and reliability of scholarly work, yet assigning suitable reviewers remains a significant challenge. Traditional manual methods are labor-intensive and often ineffective, leading to nonconstructive or biased reviews. This paper introduces the exHarmony (eHarmony but for connecting experts to manuscripts) benchmark, designed to address these challenges by re-imagining the Reviewer Assignment Problem (RAP) as a retrieval task. Utilizing the extensive data from OpenAlex, we propose a novel approach that considers a host of signals from the authors, most similar experts, and the citation relations as potential indicators for a suitable reviewer for a manuscript. This approach allows us to develop a standard benchmark dataset for evaluating the reviewer assignment problem without needing explicit labels. We benchmark various methods, including traditional lexical matching, static neural embeddings, and contextualized neural embeddings, and introduce evaluation metrics that assess both relevance and diversity in the context of RAP. Our results indicate that while traditional methods perform reasonably well, contextualized embeddings trained on scholarly literature show the best performance. The findings underscore the importance of further research to enhance the diversity and effectiveness of reviewer assignments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google