Is ChatGPT Transforming Academics’ Writing Style?

要約

2018 年 5 月から 2024 年 1 月までに提出された 100 万件の arXiv 論文に基づいて、単語頻度の変化の統計分析を通じて、要約における ChatGPT の書き方のテキスト密度を評価しました。
私たちのモデルは、慎重なノイズ分析の後、実際の要約と ChatGPT で修正された要約 (シミュレートされたデータ) の混合物に基づいて調整および検証されます。
推定に使用される単語は固定ではなく、頻度が減少する単語も含めて適応的に使用されます。
ChatGPT に代表される大規模言語モデル (LLM) が、特にコンピュータ サイエンスの分野で arXiv 要約に与える影響が増大していることがわかりました。LLM スタイルの要約の割合は、次のように推定すると約 35% と推定されています
ベースラインとして、「次の文を修正してください」という 1 つの単純なプロンプトに対する GPT-3.5 の応答。
最後に、学者の執筆スタイルへの LLM の浸透の肯定的側面と否定的側面の両方を分析して終わります。

要約(オリジナル)

Based on one million arXiv papers submitted from May 2018 to January 2024, we assess the textual density of ChatGPT’s writing style in their abstracts through a statistical analysis of word frequency changes. Our model is calibrated and validated on a mixture of real abstracts and ChatGPT-modified abstracts (simulated data) after a careful noise analysis. The words used for estimation are not fixed but adaptive, including those with decreasing frequency. We find that large language models (LLMs), represented by ChatGPT, are having an increasing impact on arXiv abstracts, especially in the field of computer science, where the fraction of LLM-style abstracts is estimated to be approximately 35%, if we take the responses of GPT-3.5 to one simple prompt, ‘revise the following sentences’, as a baseline. We conclude with an analysis of both positive and negative aspects of the penetration of LLMs into academics’ writing style.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google