ChatGPT as speechwriter for the French presidents

要約

Generative AI は、ユーザーのリクエストに応じてメッセージを自動的に生成するために、いくつかの大規模言語モデル (LLM) を提案しています。
このような科学的な進歩は、新しい執筆アシスタントの利用を促進しますが、いくつかの懸念もあります。
この研究の主な焦点は、ChatGPT と呼ばれる LLM の文体を、その生成されたメッセージと最近のフランス大統領のものと比較することによって分析することです。
これを達成するために、シラク、サルコジ、オランド、マクロンによって書かれた年末の演説と、ChatGPT によって自動的に生成された年末の演説を比較します。
ChatGPT は名詞、所有限定詞、数字を過度に使用する傾向があることがわかりました。
一方、生成された音声では、動詞、代名詞、副詞の使用が少なく、いわば標準化しすぎた文が含まれています。
いくつかの単語を考慮すると、ChatGPT は「～しなければならない」(devoir)、「継続する」、または補題「we」(nous) を多用する傾向があることがわかります。
さらに、GPT は助動詞「to be」(^etre) や法助動詞「to will」(vouloir) または「to have to」(falloir) をあまり使用しません。
さらに、短いテキストが例として ChatGPT に提供されると、マシンは元の文言に近いスタイルで短いメッセージを生成できます。
最後に、ChatGPT スタイルが実際の大統領のスピーチと比較して明確な特徴を明らかにしていることを明らかにします。

要約(オリジナル)

Generative AI proposes several large language models (LLMs) to automatically generate a message in response to users’ requests. Such scientific breakthroughs promote new writing assistants but with some fears. The main focus of this study is to analyze the written style of one LLM called ChatGPT by comparing its generated messages with those of the recent French presidents. To achieve this, we compare end-of-the-year addresses written by Chirac, Sarkozy, Hollande, and Macron with those automatically produced by ChatGPT. We found that ChatGPT tends to overuse nouns, possessive determiners, and numbers. On the other hand, the generated speeches employ less verbs, pronouns, and adverbs and include, in mean, too standardized sentences. Considering some words, one can observe that ChatGPT tends to overuse ‘to must’ (devoir), ‘to continue’ or the lemma ‘we’ (nous). Moreover, GPT underuses the auxiliary verb ‘to be’ (^etre), or the modal verbs ‘to will’ (vouloir) or ‘to have to’ (falloir). In addition, when a short text is provided as example to ChatGPT, the machine can generate a short message with a style closed to the original wording. Finally, we reveal that ChatGPT style exposes distinct features compared to real presidential speeches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google