Delving into LLM-assisted writing in biomedical publications through excess vocabulary

要約

ChatGPTのような大規模な言語モデル（LLMS）は、人間レベルのパフォーマンスでテキストを生成および修正できます。
これらのモデルには明確な制限があります。不正確な情報を生成し、既存のバイアスを強化し、簡単に誤用することができます。
しかし、多くの科学者は彼らの学術的な執筆にそれらを使用しています。
しかし、学術文献では、このようなLLMの使用はどれほど広く普及していますか？
生物医学研究の分野に関するこの質問に答えるために、公平で大規模なアプローチを提示します。2010年から2024年までのPubMedによってインデックス付けされた1500万人以上の生物医学的要約の語彙の変化を研究し、LLMの出現がどのようにしたかを示します。
特定のスタイルの単語の頻度の急激な増加。
この過剰な単語分析は、2024年の要約の少なくとも13.5％がLLMで処理されたことを示唆しています。
この下限は、分野、国、雑誌間で異なり、一部のサブコルポラで40％に達しました。
LLMSは、生物医学研究における科学的執筆に前例のない影響を与え、共生のパンデミックなどの主要な世界イベントの効果を上回っていることを示しています。

要約(オリジナル)

Large language models (LLMs) like ChatGPT can generate and revise text with human-level performance. These models come with clear limitations: they can produce inaccurate information, reinforce existing biases, and be easily misused. Yet, many scientists use them for their scholarly writing. But how wide-spread is such LLM usage in the academic literature? To answer this question for the field of biomedical research, we present an unbiased, large-scale approach: we study vocabulary changes in over 15 million biomedical abstracts from 2010–2024 indexed by PubMed, and show how the appearance of LLMs led to an abrupt increase in the frequency of certain style words. This excess word analysis suggests that at least 13.5% of 2024 abstracts were processed with LLMs. This lower bound differed across disciplines, countries, and journals, reaching 40% for some subcorpora. We show that LLMs have had an unprecedented impact on scientific writing in biomedical research, surpassing the effect of major world events such as the Covid pandemic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google