The Noisy Path from Source to Citation: Measuring How Scholars Engage with Past Research

要約

学術的な引用は、研究と知識の流れを追跡するために広く使用されています。
このような使用は通常、生の引用数に依存し、引用タイプの変動性を無視します。
特に、引用された研究からの元の知識が言い換えれ、要約、または再解釈され、おそらく誤って再解釈され、引用された紙から引用紙への情報の変化の変化につながる可能性があるため、引用は忠実に異なる場合があります。
この研究では、計算パイプラインを導入して、規模の引用忠実度を定量化します。
パイプラインは、論文の全文を使用して、引用論文と引用された論文の対応するクレームの引用を特定し、文レベルで忠実度を測定するために監視されたモデルを適用します。
約1300万の引用文のペアの大規模な学際的なデータセットを分析すると、著者が1）より最近、知的に近い論文を引用すると、2）よりアクセスしやすい、3）最初の著者はより低いH-indexと著者チームが中程度であることがわかります。
準実験を使用して、「電話効果」を確立します。引用論文が元の主張に忠実である場合は、引用用紙とオリジナルの引用を引用する将来の論文がオリジナルに対して忠実度が低くなります。
私たちの仕事は、引用の忠実度の体系的な違いを明らかにし、引用量だけに依存する分析の限界と証拠の歪みの可能性を強調しています。

要約(オリジナル)

Academic citations are widely used for evaluating research and tracing knowledge flows. Such uses typically rely on raw citation counts and neglect variability in citation types. In particular, citations can vary in their fidelity as original knowledge from cited studies may be paraphrased, summarized, or reinterpreted, possibly wrongly, leading to variation in how much information changes from cited to citing paper. In this study, we introduce a computational pipeline to quantify citation fidelity at scale. Using full texts of papers, the pipeline identifies citations in citing papers and the corresponding claims in cited papers, and applies supervised models to measure fidelity at the sentence level. Analyzing a large-scale multi-disciplinary dataset of approximately 13 million citation sentence pairs, we find that citation fidelity is higher when authors cite papers that are 1) more recent and intellectually close, 2) more accessible, and 3) the first author has a lower H-index and the author team is medium-sized. Using a quasi-experiment, we establish the ‘telephone effect’ – when citing papers have low fidelity to the original claim, future papers that cite the citing paper and the original have lower fidelity to the original. Our work reveals systematic differences in citation fidelity, underscoring the limitations of analyses that rely on citation quantity alone and the potential for distortion of evidence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google