Human-LLM Coevolution: Evidence from Academic Writing

要約

Arxiv Paper Abstractsの統計分析により、2024年初頭に指摘された直後に、「Delve」などのChatGptが過剰に使用したと以前に識別されたいくつかの単語の頻度の顕著な低下を報告します。
代わりに、「重要」などのChatGptが好むことは、増加を続けています。
これらの現象は、学術論文の一部の著者が、たとえば出力を選択したり、LLM生成コンテンツに変更を適用することにより、大規模な言語モデル（LLM）の使用を適合させていることを示唆しています。
したがって、このような共進化と人間とLLMの協力は、実際のシナリオで機械で生成されたテキストの検出に追加の課題をもたらします。
単語の頻度を調べることで学術執筆に対するLLMの影響を推定することは実行可能であり、LLMSの嫌悪のために頻度が減少したものを含め、すでに頻繁に採用されている単語にもっと注意を払う必要があります。

要約(オリジナル)

With a statistical analysis of arXiv paper abstracts, we report a marked drop in the frequency of several words previously identified as overused by ChatGPT, such as ‘delve’, starting soon after they were pointed out in early 2024. The frequency of certain other words favored by ChatGPT, such as ‘significant’, has instead kept increasing. These phenomena suggest that some authors of academic papers have adapted their use of large language models (LLMs), for example, by selecting outputs or applying modifications to the LLM-generated content. Such coevolution and cooperation of humans and LLMs thus introduce additional challenges to the detection of machine-generated text in real-world scenarios. Estimating the impact of LLMs on academic writing by examining word frequency remains feasible, and more attention should be paid to words that were already frequently employed, including those that have decreased in frequency due to LLMs’ disfavor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google