Topics, Authors, and Networks in Large Language Model Research: Trends from a Survey of 17K arXiv Papers

要約

大規模言語モデル (LLM) 研究は社会に劇的な影響を与えており、研究が優先するトピックと価値、研究を推進する著者と機関、およびその協力ネットワークを理解することが不可欠となっています。
この分野の最近の成長により、これらの基本的な属性の多くは体系的な説明が不足しています。
私たちは、2023 年と 2018 ～ 2022 年の変化に焦点を当てて、16,979 件の LLM 関連の arXiv 論文の新しいデータセットを収集、注釈付け、分析します。
私たちは、LLM 研究がますます社会的影響に焦点を当てていることを示しています。Computers and Society sub-arXiv では、2023 年に LLM 関連の論文の割合が 20 倍に増加しました。この変化は、部分的には新しい著者の流入によって促進されています。2023 年の大半は、
論文の初著者は、これまで LLM 関連の論文を書いたことのない研究者であり、これらの論文は特に応用と社会的考察に焦点を当てています。
少数の企業が大きな影響力を持っていますが、学術界が業界全体よりもはるかに多くの論文を発表しており、この差は 2023 年には拡大します。LLM 研究は社会力学によっても形成されており、トピックの著者には性別や学術/業界の違いがあります。
優先順位が高く、協力ネットワークにおける米中対立は深刻だ。
全体として、私たちの分析は、LLM が社会の形と社会によって形作られることの両方をどのように研究しているかを文書化し、社会技術的なレンズの必要性を証明しています。
研究者や政策立案者への影響について議論します。

要約(オリジナル)

Large language model (LLM) research is dramatically impacting society, making it essential to understand the topics and values it prioritizes, the authors and institutions driving it, and its networks of collaboration. Due to the recent growth of the field, many of these fundamental attributes lack systematic description. We gather, annotate, and analyze a new dataset of 16,979 LLM-related arXiv papers, focusing on changes in 2023 vs. 2018-2022. We show that LLM research increasingly focuses on societal impacts: the Computers and Society sub-arXiv has seen 20x growth in its proportion of LLM-related papers in 2023. This change is driven in part by an influx of new authors: a majority of 2023 papers are first-authored by researchers who have not previously written an LLM-related paper, and these papers focus particularly on applications and societal considerations. While a handful of companies hold outsize influence, academia publishes a much larger fraction of papers than industry overall, and this gap widens in 2023. LLM research is also being shaped by social dynamics: there are gender and academic/industry differences in the topics authors prioritize, and a stark U.S./China schism in the collaboration network. Overall, our analysis documents how LLM research both shapes and is shaped by society, attesting to the necessity of sociotechnical lenses; we discuss implications for researchers and policymakers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google