要約
2018 年 5 月から 2024 年 1 月までに提出された 100 万件の arXiv 論文に基づいて、単語頻度の変化の統計分析によって、要約における ChatGPT の書き方のテキスト密度を評価しました。
私たちのモデルは、慎重なノイズ分析の後、実際の要約と ChatGPT で修正された要約 (シミュレートされたデータ) の混合物に基づいて調整および検証されます。
ChatGPT が arXiv 抄録、特にコンピュータ サイエンスの分野でますます大きな影響を与えていることがわかりました。最も単純なプロンプトの 1 つの出力を取得した場合、ChatGPT 改訂された抄録の割合は約 35% と推定されています。
次の文を修正してください。」をベースラインとして使用します。
最後に、ChatGPT が学者の執筆スタイルに浸透したことのプラス面とマイナス面の両方を分析してまとめます。
要約(オリジナル)
Based on one million arXiv papers submitted from May 2018 to January 2024, we assess the textual density of ChatGPT’s writing style in their abstracts by means of a statistical analysis of word frequency changes. Our model is calibrated and validated on a mixture of real abstracts and ChatGPT-modified abstracts (simulated data) after a careful noise analysis. We find that ChatGPT is having an increasing impact on arXiv abstracts, especially in the field of computer science, where the fraction of ChatGPT-revised abstracts is estimated to be approximately 35%, if we take the output of one of the simplest prompts, ‘revise the following sentences’, as a baseline. We conclude with an analysis of both positive and negative aspects of the penetration of ChatGPT into academics’ writing style.
arxiv情報
| 著者 | Mingmeng Geng,Roberto Trotta |
| 発行日 | 2024-04-12 17:41:05+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google