要約
ChatGPT は、特定のトピックに関するテキストをすばやく生成できる一般公開されているチャットボットですが、チャットボットが書き込みのすべての面で人間のライターよりも本当に優れているかどうか、コマンドの更新に基づいて書き込み品質を大幅に改善できるかどうかは不明です。
その結果、この研究では、ChatGPT と中国の中級英語 (CIE) 学習者による物語のトピックでのライティング パフォーマンスを比較し、ライティングにおけるチャットボットの長所と短所を明らかにしました。
データは、Coh-Metrix (言語の談話を分析するための特別なツール) を使用して 5 つの談話コンポーネントの観点から分析され、その結果、ChatGPT は人間の書き手よりも、物語性、単語の具体性、および参照の結束において優れたパフォーマンスを示しましたが、構文の単純さでは劣っていたことが明らかになりました。
初期バージョンでの深い結束。
より多くのリビジョンコマンドが更新された後、結果として得られたバージョンは構文の単純化が促進されましたが、CIE 学習者の深いまとまりのある記述にはまだ大きく遅れています。
さらに、談話構成要素の相関分析は、ChatGPT と人間の作家の両方で物語性が参照結束と相関していたことを示唆していますが、相関関係は各グループ内で異なりました。
要約(オリジナル)
ChatGPT is a publicly available chatbot that can quickly generate texts on given topics, but it is unknown whether the chatbot is really superior to human writers in all aspects of writing and whether its writing quality can be prominently improved on the basis of updating commands. Consequently, this study compared the writing performance on a narrative topic by ChatGPT and Chinese intermediate English (CIE) learners so as to reveal the chatbot’s advantage and disadvantage in writing. The data were analyzed in terms of five discourse components using Coh-Metrix (a special instrument for analyzing language discourses), and the results revealed that ChatGPT performed better than human writers in narrativity, word concreteness, and referential cohesion, but worse in syntactic simplicity and deep cohesion in its initial version. After more revision commands were updated, while the resulting version was facilitated in syntactic simplicity, yet it is still lagged far behind CIE learners’ writing in deep cohesion. In addition, the correlation analysis of the discourse components suggests that narrativity was correlated with referential cohesion in both ChatGPT and human writers, but the correlations varied within each group.
arxiv情報
| 著者 | Tongquan Zhou,Siyi Cao,Siruo Zhou,Yao Zhang,Aijing He |
| 発行日 | 2023-03-21 12:55:54+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google