Chain-of-MetaWriting: Linguistic and Textual Analysis of How Small Language Models Write Young Students Texts

要約

大規模言語モデル (LLM) は、レポート、エッセイ、物語など、さまざまな執筆タスクに応じてテキストを生成するために使用されてきました。
ただし、言語モデルには、人間の若い学生に匹敵する、テキスト作成プロセスのメタ表現や、固有のコミュニケーション学習ニーズがありません。
この論文では、多言語小型言語モデル (SLM) の記述の詳細な言語分析とテキスト分析を紹介します。
私たちの手法である Chain-of-MetaWriting を使用すると、SLM は計画や評価など人間の執筆プロセスの一部のステップを模倣できます。
私たちは主に、それぞれ小学生と学部生を対象に、フランス語で短編小説とエッセイを書く課題に焦点を当てました。
私たちの結果は、SLM が校庭での暴力などデリケートなテーマについて若い生徒を支援する際に困難に直面し、対象者にとって複雑すぎる言葉を使用することがあることを示しています。
特に、出力は、時間的な接続、トピックの進行、参照に関するテキストの凝集性と一貫性の点で、人間が作成したテキストとは大きく異なります。

要約(オリジナル)

Large Language Models (LLMs) have been used to generate texts in response to different writing tasks: reports, essays, story telling. However, language models do not have a meta-representation of the text writing process, nor inherent communication learning needs, comparable to those of young human students. This paper introduces a fine-grained linguistic and textual analysis of multilingual Small Language Models’ (SLMs) writing. With our method, Chain-of-MetaWriting, SLMs can imitate some steps of the human writing process, such as planning and evaluation. We mainly focused on short story and essay writing tasks in French for schoolchildren and undergraduate students respectively. Our results show that SLMs encounter difficulties in assisting young students on sensitive topics such as violence in the schoolyard, and they sometimes use words too complex for the target audience. In particular, the output is quite different from the human produced texts in term of text cohesion and coherence regarding temporal connectors, topic progression, reference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google