Did ChatGPT or Copilot use alter the style of internet news headlines? A time series regression analysis

要約

ChatGptやCopilotなどの高度な大手言語モデル（LLM）のリリースは、テキストの作成方法を変更し、Webで見つけたコンテンツに影響を与える可能性があります。
この研究では、これら2つの人気のあるLLMSのリリースが、世界中のニュースWebサイトの見出しとリンクのライティングスタイルの変更と一致したかどうかを調査しました。
4億5100万人の見出し/リンクのデータセットで、各テキストに対して175のNLP機能が取得されました。
175のNLP機能のそれぞれに中断された時系列分析が適用され、ChatGPTおよび/またはCopilotのリリース日後に統計的に有意な持続的な変化があったかどうかを評価しました。
ChatGpt/Copilotのリリース後、合計44の機能が持続的な変化を持たないように見えました。
合計91のその他の機能は、ChatGPTおよび/またはCopilotで大きな変化を示しましたが、以前のコントロールLLMリリース日（GPT-1/2/3、Gopher）での重要性は考慮からそれらを削除しました。
この最初の分析は、これらの言語モデルが、いくつかのNLP測定のみに関して、個々のニュースヘッドライン/リンクのスタイルに限られた影響を与えた可能性があることを示唆しています。

要約(オリジナル)

The release of advanced Large Language Models (LLMs) such as ChatGPT and Copilot is changing the way text is created and may influence the content that we find on the web. This study investigated whether the release of these two popular LLMs coincided with a change in writing style in headlines and links on worldwide news websites. 175 NLP features were obtained for each text in a dataset of 451 million headlines/links. An interrupted time series analysis was applied for each of the 175 NLP features to evaluate whether there were any statistically significant sustained changes after the release dates of ChatGPT and/or Copilot. There were a total of 44 features that did not appear to have any significant sustained change after the release of ChatGPT/Copilot. A total of 91 other features did show significant change with ChatGPT and/or Copilot although significance with earlier control LLM release dates (GPT-1/2/3, Gopher) removed them from consideration. This initial analysis suggests these language models may have had a limited impact on the style of individual news headlines/links, with respect to only some NLP measures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google