Exploring AI-Generated Text in Student Writing: How Does AI Help?

要約

外国語としての英語_EFL_生徒が人工知能_AI_自然言語生成_NLG_ツールから生成されたテキストを使用すると、文章の質が向上する可能性があります。
ただし、これらの生徒の作文内の AI 生成テキストがどの程度、より質の高い作文につながるかはまだ不明です。
私たちは、23 人の香港の中学生が自分たちの言葉と AI が生成したテキストで構成される物語を書く試みを調査しました。
人間の専門家が、内容、言語、構成の側面からストーリーを採点しました。
AI が生成したストーリーのテキストの基本的な構成と構造、構文の複雑さを分析し、重回帰分析とクラスター分析を実行しました。
結果は、人間の単語の数と AI が生成した単語の数がスコアに大きく寄与していることを示しています。
さらに、学生は、他の学生と比較して AI 生成テキストの使用量が多い、または AI 生成テキストの使用量が少ない、有能なライターとそうでないライターに分類することができます。
クラスターを比較すると、高得点の生徒と低得点の生徒の両方の作文の質を向上させる上で、AI が生成したテキストの利点が明らかになりました。
この研究結果は、AI が生成したテキストを EFL の学生の作文に使用し、デジタル格差に対処するための教育戦略に役立つ可能性があります。
この研究は、学校で AI によって生成されたテキストを実装するための NLG ツールと執筆活動の設計に貢献します。

要約(オリジナル)

English as foreign language_EFL_students’ use of text generated from artificial intelligence_AI_natural language generation_NLG_tools may improve their writing quality. However, it remains unclear to what extent AI-generated text in these students’ writing might lead to higher-quality writing. We explored 23 Hong Kong secondary school students’ attempts to write stories comprising their own words and AI-generated text. Human experts scored the stories for dimensions of content, language and organization. We analyzed the basic organization and structure and syntactic complexity of the stories’ AI-generated text and performed multiple linear regression and cluster analyses. The results show the number of human words and the number of AI-generated words contribute significantly to scores. Besides, students can be grouped into competent and less competent writers who use more AI-generated text or less AI-generated text compared to their peers. Comparisons of clusters reveal some benefit of AI-generated text in improving the quality of both high-scoring students’ and low-scoring students’ writing. The findings can inform pedagogical strategies to use AI-generated text for EFL students’ writing and to address digital divides. This study contributes designs of NLG tools and writing activities to implement AI-generated text in schools.

arxiv情報

著者 David James Woo,Hengky Susanto,Chi Ho Yeung,Kai Guo,April Ka Yeng Fung
発行日 2024-01-01 02:10:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CY, J.5 パーマリンク