A Content-Based Novelty Measure for Scholarly Publications: A Proof of Concept

要約

進化における遺伝子の突然変異に似た新規性は、学術の進歩の可能性をもたらします。
査読は依然として学術コミュニケーションやリソース配分における新規性を評価するためのゴールドスタンダードですが、膨大な量の投稿があるため、学術的な新規性を自動的に測定する必要があります。
新規性を既存の知識の非典型的な組み合わせとみなす観点を採用し、学術出版物における新規性の情報理論的尺度を導入します。
この尺度は、学術的言説の単語分布を表す言語モデルによって知覚される「驚き」の程度を定量化します。
提案された措置には、正当性の証拠が提示されています。
前者は科学的常識との一致を実証し、後者は専門分野の専門家からなる選ばれた委員会による新規性評価との整合を通じて支持されています。
さらに、この措置は、解釈可能性、粒度の細かさ、アクセシビリティを特徴としており、既存の方法に蔓延するギャップに対処します。
私たちは、この措置が編集者、利害関係者、政策立案者に利益をもたらす大きな可能性を秘めており、新規性と創造性、学際性、科学の進歩などの学術的ダイナミクスとの関係を調べるための信頼できるレンズを提供すると信じています。

要約(オリジナル)

Novelty, akin to gene mutation in evolution, opens possibilities for scholarly advancement. Although peer review remains the gold standard for evaluating novelty in scholarly communication and resource allocation, the vast volume of submissions necessitates an automated measure of scholarly novelty. Adopting a perspective that views novelty as the atypical combination of existing knowledge, we introduce an information-theoretic measure of novelty in scholarly publications. This measure quantifies the degree of ‘surprise’ perceived by a language model that represents the word distribution of scholarly discourse. The proposed measure is accompanied by face and construct validity evidence; the former demonstrates correspondence to scientific common sense, and the latter is endorsed through alignment with novelty evaluations from a select panel of domain experts. Additionally, characterized by its interpretability, fine granularity, and accessibility, this measure addresses gaps prevalent in existing methods. We believe this measure holds great potential to benefit editors, stakeholders, and policymakers, and it provides a reliable lens for examining the relationship between novelty and academic dynamics such as creativity, interdisciplinarity, and scientific advances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google