GPT as ghostwriter at the White House

要約

最近、いくつかの大規模言語モデル (LLM) が、ユーザー要求に応じてメッセージを生成する機能を実証しました。
このような科学的進歩は新たな視点を促進しますが、同時にいくつかの懸念も生じます。
この研究の主な焦点は、ChatGPT 3.5 と呼ばれる LLM の記述スタイルを、生成されたメッセージと最近の米国大統領のメッセージと比較することによって分析することです。
この目的を達成するために、レーガン大統領がオバマ大統領に宛てて書いた一般教書演説と、ChatGPT によって自動的に生成された一般教書演説を比較します。
ChatGPT では、名詞やコンマだけでなく補題「we」も過剰に使用する傾向があることがわかりました。
一方、生成された音声では動詞の使用が少なくなり、平均して長い文が含まれます。
ChatGPT に特定のスタイルを適用した場合でも、結果として得られる音声は、ターゲットの作成者によって書かれたメッセージとは区別されます。
さらに、ChatGPT は、主にポジティブな感情表現や象徴的な用語 (自由、国家など) を使用したニュートラルなトーンを選択します。
最後に、GPT のスタイルが実際の大統領演説と比べて明確な特徴を明らかにしていることを示します。

要約(オリジナル)

Recently several large language models (LLMs) have demonstrated their capability to generate a message in response to a user request. Such scientific breakthroughs promote new perspectives but also some fears. The main focus of this study is to analyze the written style of one LLM called ChatGPT 3.5 by comparing its generated messages with those of the recent US presidents. To achieve this objective, we compare the State of the Union addresses written by Reagan to Obama with those automatically produced by ChatGPT. We found that ChatGPT tends to overuse the lemma ‘we’ as well as nouns and commas. On the other hand, the generated speeches employ less verbs and include, in mean, longer sentences. Even when imposing a given style to ChatGPT, the resulting speech remains distinct from messages written by the target author. Moreover, ChatGPT opts for a neutral tone with mainly positive emotional expressions and symbolic terms (e.g., freedom, nation). Finally, we show that the GPT’s style exposes distinct features compared to real presidential addresses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google