Evaluating GPT-3.5 and GPT-4 on Grammatical Error Correction for Brazilian Portuguese

要約

私たちは、ブラジル系ポルトガル語の文法的誤り訂正 (GEC) ツールとしての 2 つの大きな言語モデルである GPT-3.5 と GPT-4 の有効性を調査し、それらのパフォーマンスを Microsoft Word および Google Docs と比較します。
文法、スペル、インターネット、高速タイピングの 4 つのカテゴリを持つブラジル系ポルトガル語の GEC データセットを紹介します。
私たちの結果は、GPT-4 は他の方法より再現率が高い一方で、LLM は精度が低く、過剰補正につながる傾向があることを示しています。
この研究は、ブラジル系ポルトガル語にとって実用的な GEC ツールとしての LLM の可能性を実証し、英語以外の言語やその他の教育現場における LLM のさらなる探究を奨励します。

要約(オリジナル)

We investigate the effectiveness of GPT-3.5 and GPT-4, two large language models, as Grammatical Error Correction (GEC) tools for Brazilian Portuguese and compare their performance against Microsoft Word and Google Docs. We introduce a GEC dataset for Brazilian Portuguese with four categories: Grammar, Spelling, Internet, and Fast typing. Our results show that while GPT-4 has higher recall than other methods, LLMs tend to have lower precision, leading to overcorrection. This study demonstrates the potential of LLMs as practical GEC tools for Brazilian Portuguese and encourages further exploration of LLMs for non-English languages and other educational settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google