Large language models shape and are shaped by society: A survey of arXiv publication patterns

要約

最近、大規模言語モデル (LLM) 論文の数が急激に増加しており、書誌学的分析を通じてほとんど文書化されていないままである科学の状況に劇的な変化をもたらしています。
ここでは、CS および Stat arXivs に投稿された 38 万 8,000 件の論文を分析し、2023 年と 2018 ～ 2022 年の出版パターンの変化に焦点を当てます。
私たちは、LLM 論文の割合がどのように増加しているかを分析します。
最も注目を集めている LLM 関連のトピック。
LLM 論文を執筆している著者。
著者の研究テーマがその背景とどのように相関しているか。
引用度の高い LLM 論文を区別する要因。
そして国際協力のパターン。
私たちは、LLM 研究がますます社会的影響に焦点を当てていることを示しています。Computers and Society sub-arXiv では LLM 関連の論文の割合が 18 倍に増加しており、LLM について新たに出版する著者は、経験豊富な著者よりもアプリケーションと社会的影響に焦点を当てる可能性が高くなります。
LLM 研究は社会力学によっても形作られています。私たちは、LLM 著者が焦点を当てているトピックにおけるジェンダーや学術/業界の格差、および協力ネットワークにおける米国と中国の分裂を記録します。
全体として、私たちの分析は、LLM が社会の形と社会によって形作られることの両方を研究する奥深い方法を文書化し、社会技術的なレンズの必要性を証明しています。

要約(オリジナル)

There has been a steep recent increase in the number of large language model (LLM) papers, producing a dramatic shift in the scientific landscape which remains largely undocumented through bibliometric analysis. Here, we analyze 388K papers posted on the CS and Stat arXivs, focusing on changes in publication patterns in 2023 vs. 2018-2022. We analyze how the proportion of LLM papers is increasing; the LLM-related topics receiving the most attention; the authors writing LLM papers; how authors’ research topics correlate with their backgrounds; the factors distinguishing highly cited LLM papers; and the patterns of international collaboration. We show that LLM research increasingly focuses on societal impacts: there has been an 18x increase in the proportion of LLM-related papers on the Computers and Society sub-arXiv, and authors newly publishing on LLMs are more likely to focus on applications and societal impacts than more experienced authors. LLM research is also shaped by social dynamics: we document gender and academic/industry disparities in the topics LLM authors focus on, and a US/China schism in the collaboration network. Overall, our analysis documents the profound ways in which LLM research both shapes and is shaped by society, attesting to the necessity of sociotechnical lenses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google