A Content-Based Novelty Measure for Scholarly Publications: A Proof of Concept

要約

進化における遺伝子の突然変異に似た新規性は、科学の進歩の可能性を開きます。
査読は学術コミュニケーションやリソース配分における新規性を評価するためのゴールドスタンダードであるにもかかわらず、膨大な量の投稿があるため、科学的新規性を自動的に測定する必要があります。
新規性を既存の知識の非典型的な組み合わせとみなす観点を採用し、学術出版物における新規性の情報理論的尺度を導入します。
この尺度は、科学的議論の分布を表す言語モデルによって知覚される「驚き」の程度によって定量化されます。
提案された措置には、正当性の証拠が提示されています。
前者は科学的常識との一致を実証し、後者は専門分野の専門家からなる選ばれた委員会による新規性評価との調整を通じて支持されています。
さらに、この措置は、解釈可能性、粒度の細かさ、アクセシビリティを特徴としており、既存の方法に蔓延するギャップに対処します。
私たちは、この措置が編集者、利害関係者、政策立案者に利益をもたらす大きな可能性を秘めており、新規性と創造性、学際性、科学の進歩などの科学力学との関係を調べるための自信に満ちたレンズを提供すると信じています。

要約(オリジナル)

Novelty, akin to gene mutation in evolution, opens possibilities for scientific advancement. Despite peer review being the gold standard for evaluating novelty in scholarly communication and resource allocation, the vast volume of submissions necessitates an automated measure of scientific novelty. Adopting a perspective that views novelty as the atypical combination of existing knowledge, we introduce an information-theoretic measure of novelty in scholarly publications. This measure is quantified by the degree of `surprise’ perceived by a language model that represents the distribution of scientific discourse. The proposed measure is accompanied by face and construct validity evidence; the former demonstrates correspondence to scientific common sense, and the latter is endorsed through alignments with novelty evaluations from a select panel of domain experts. Additionally, characterized by its interpretability, fine granularity, and accessibility, this measure addresses gaps prevalent in existing methods. We believe this measure holds great potential to benefit editors, stakeholders, and policymakers, and it provides a confident lens for examining the relationship between novelty and scientific dynamics such as creativity, interdisciplinarity, scientific advances, and more.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google