Comparing human and LLM proofreading in L2 writing: Impact on lexical and syntactic features

要約

この研究では、同一の第二言語文書の全体的な把握を改善することを目的とした人間およびLLM校正の語彙的および構文的介入を調べ、3つのLLM（ChatGPT-4O、LLAMA3.1-8B、DeepSeek-R1-8B）にわたる結果の一貫性を評価します。
調査結果は、人間とLLMの両方の校正がBigRamの語彙的特徴を強化することを示しており、これが隣接する単語間のより良い一貫性と文脈的つながりに寄与する可能性があることを示しています。
ただし、LLM校正は、より生成的なアプローチを示し、より多様で洗練された語彙を採用し、名詞句に多くの形容詞修飾子を組み込むなど、語彙と文の構造を広く再加工します。
校正の結果は、3つのモデルの主要な語彙的および構文的な特徴で非常に一貫しています。

要約(オリジナル)

This study examines the lexical and syntactic interventions of human and LLM proofreading aimed at improving overall intelligibility in identical second language writings, and evaluates the consistency of outcomes across three LLMs (ChatGPT-4o, Llama3.1-8b, Deepseek-r1-8b). Findings show that both human and LLM proofreading enhance bigram lexical features, which may contribute to better coherence and contextual connectedness between adjacent words. However, LLM proofreading exhibits a more generative approach, extensively reworking vocabulary and sentence structures, such as employing more diverse and sophisticated vocabulary and incorporating a greater number of adjective modifiers in noun phrases. The proofreading outcomes are highly consistent in major lexical and syntactic features across the three models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google