Citation Amnesia: On The Recency Bias of NLP and Other Academic Fields

要約

この研究では、43 年間 (1980 ～ 2023 年) にわたる 20 の研究分野にわたって、古い研究を引用する傾向を調査しました。
私たちは、NLP が古い研究を引用する傾向をこれらの他の 20 分野と照らし合わせて、NLP がこれらの他の分野と時間の経過とともに同様の時間的引用パターンを示すかどうか、あるいは差異が観察できるかどうかを分析しました。
約 2 億 4,000 万件の論文のデータセットに基づく私たちの分析では、より広範な科学的傾向が明らかになりました。多くの分野で、古い研究成果 (心理学、コンピューター サイエンスなど) の引用が著しく減少しています。
私たちは、経済学者が経済活動が低下した期間を定義するのと同じように、この衰退を「引用年齢不況」と呼んでいます。
この傾向は NLP および ML 研究で最も強いです (引用年齢は以前のピークから -12.8%、-5.5%)。
私たちの結果は、たとえ出版量の増加をコントロールしたとしても、より最近の著作の引用は出版率の伸び（分野全体で -3.4%、人文科学で -5.2%、正式科学で -5.5%）によって直接推進されていないことを示唆しています。
書類。
私たちの調査結果は、科学界の過去の文献、特に NLP への関与と、古くても関連する研究を無視することの潜在的な結果について疑問を引き起こします。
データと結果を示すデモは一般公開されています。

要約(オリジナル)

This study examines the tendency to cite older work across 20 fields of study over 43 years (1980–2023). We put NLP’s propensity to cite older work in the context of these 20 other fields to analyze whether NLP shows similar temporal citation patterns to these other fields over time or whether differences can be observed. Our analysis, based on a dataset of approximately 240 million papers, reveals a broader scientific trend: many fields have markedly declined in citing older works (e.g., psychology, computer science). We term this decline a ‘citation age recession’, analogous to how economists define periods of reduced economic activity. The trend is strongest in NLP and ML research (-12.8% and -5.5% in citation age from previous peaks). Our results suggest that citing more recent works is not directly driven by the growth in publication rates (-3.4% across fields; -5.2% in humanities; -5.5% in formal sciences) — even when controlling for an increase in the volume of papers. Our findings raise questions about the scientific community’s engagement with past literature, particularly for NLP, and the potential consequences of neglecting older but relevant research. The data and a demo showcasing our results are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google