Benchmark for Evaluation and Analysis of Citation Recommendation Models

要約

引用推薦システムは学術的な関心を集めており、多くの研究と実装が行われています。
これらのシステムは、著者が執筆したテキストに基づいて関連する参考文献を提案することで、適切な引用を自動的に生成するのに役立ちます。
ただし、引用の推奨に使用される方法は、さまざまな研究や実装によって異なります。
論文の全体的な内容に焦点を当てたアプローチもあれば、引用テキストの文脈を考慮したアプローチもあります。
さらに、これらの研究で使用されるデータセットには、メタデータ、引用コンテキスト、さらにはさまざまな形式や構造の論文の全文など、論文のさまざまな側面が含まれています。
モデル、データセット、評価指標が多様であるため、引用推奨方法を効果的に評価および比較することが困難になります。
この問題に対処するには、これらのモデルを一貫して評価するための標準化されたデータセットと評価指標が必要です。
したがって、引用推奨モデルを分析および比較するために特別に設計されたベンチマークを開発することを提案します。
このベンチマークは、引用コンテキストのさまざまな特徴に関するモデルのパフォーマンスを評価し、これらすべてのタスクにわたるモデルの包括的な評価を提供し、結果を標準化された方法で示します。
標準化された評価指標を使用してベンチマークを作成することにより、引用推奨の分野の研究者と専門家は、さまざまなモデルを評価および比較するための共通のプラットフォームを手に入れることができます。
これにより、有意義な比較が可能になり、この分野でのさらなる研究開発のための有望なアプローチを特定するのに役立ちます。

要約(オリジナル)

Citation recommendation systems have attracted much academic interest, resulting in many studies and implementations. These systems help authors automatically generate proper citations by suggesting relevant references based on the text they have written. However, the methods used in citation recommendation differ across various studies and implementations. Some approaches focus on the overall content of papers, while others consider the context of the citation text. Additionally, the datasets used in these studies include different aspects of papers, such as metadata, citation context, or even the full text of the paper in various formats and structures. The diversity in models, datasets, and evaluation metrics makes it challenging to assess and compare citation recommendation methods effectively. To address this issue, a standardized dataset and evaluation metrics are needed to evaluate these models consistently. Therefore, we propose developing a benchmark specifically designed to analyze and compare citation recommendation models. This benchmark will evaluate the performance of models on different features of the citation context and provide a comprehensive evaluation of the models across all these tasks, presenting the results in a standardized way. By creating a benchmark with standardized evaluation metrics, researchers and practitioners in the field of citation recommendation will have a common platform to assess and compare different models. This will enable meaningful comparisons and help identify promising approaches for further research and development in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google