要約
ChatGPT は、人間のような複雑なテキストを生成する優れた能力を備えていることが証明されており、最近の研究では、精神課題の理論におけるパフォーマンスが 9 歳児のパフォーマンスに匹敵することが証明されています。
ただし、ChatGPT が中国語の筆記能力において 9 歳児を上回るかどうかは依然として不明です。
これを調査するために、私たちの研究では、ChatGPT と物語と科学の両方のトピックに関する 9 歳児の中国語の作文パフォーマンスを並べて、作文における ChatGPT の相対的な長所と短所を明らかにすることを目的としました。
収集されたデータは、流暢さ、正確さ、複雑さ、一貫性、感情という 5 つの言語次元にわたって分析されました。
各次元は正確な指標によって評価されました。
その結果、9 歳児は、文章の流暢さと一貫性の点で ChatGPT よりも優れていることが明らかになりました。
対照的に、ChatGPT は子供たちと比較して精度において優れたパフォーマンスを示しました。
複雑さに関しては、子供たちは科学をテーマにした作文で優れたスキルを示しましたが、自然をテーマにした作文では ChatGPT が優勢でした。
重要なことに、この研究は、9 歳児が中国語の作文で ChatGPT よりも強い感情を伝えていることを明らかにした先駆者です。
要約(オリジナル)
ChatGPT has been demonstrated to possess significant capabilities in generating intricate, human-like text, and recent studies have established that its performance in theory of mind tasks is comparable to that of a nine-year-old child. However, it remains uncertain whether ChatGPT surpasses nine-year-old children in Chinese writing proficiency. To explore this, our study juxtaposed the Chinese writing performance of ChatGPT and nine-year-old children on both narrative and scientific topics, aiming to uncover the relative strengths and weaknesses of ChatGPT in writing. The collected data were analyzed across five linguistic dimensions: fluency, accuracy, complexity, cohesion, and emotion. Each dimension underwent assessment through precise indices. The findings revealed that nine-year-old children excelled beyond ChatGPT in terms of fluency and cohesion within their writing. In contrast, ChatGPT manifested a superior performance in accuracy compared to the children. Concerning complexity, children exhibited superior skills in science-themed writing, while ChatGPT prevailed in nature-themed writing. Significantly, this research is pioneering in revealing that nine-year-old children convey stronger emotions than ChatGPT in their Chinese compositions.
arxiv情報
| 著者 | Siyi Cao,Yizhong Xu,Tongquan Zhou,Siruo Zhou |
| 発行日 | 2024-09-24 14:50:52+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google