Is ChatGPT a Highly Fluent Grammatical Error Correction System? A Comprehensive Evaluation

要約

タイトル：ChatGPTは非常に流暢な文法エラー修正システムか？包括的な評価

要約：
– ChatGPTは、先進的なGPT-3.5アーキテクチャに基づく大規模な言語モデルであり、さまざまな自然言語処理（NLP）タスクで優れた潜在能力を示しています。
– しかし、文法エラー修正（GEC）の分野での潜在能力を探求した包括的な研究が現在不足しています。そのため、ChatGPTのGECにおける能力を示すために、ゼロショットのchain-of-thought（CoT）およびfew-shotのCoT設定を設計し、in-context学習を使用しました。
– 評価は、3つの異なる言語で5つの公式テストセットと、英語の3つのドキュメントレベルのGECテストセットでChatGPTのパフォーマンスを評価することを含みます。
– 実験結果と人間の評価により、ChatGPTは優れたエラー検出能力を持ち、最小な編集の原則に従わない過剰修正傾向を持つことにより、修正された文が非常に流暢になることがわかりました。
– さらに、非英語のおよび低リソースの設定におけるパフォーマンスは、多言語のGECタスクにおけるChatGPTの潜在的な可能性を示しています。ただし、ドキュメントレベルでのさまざまなタイプのエラーのさらなる分析により、ChatGPTは文間のアグリーメント、共参照、時制エラー、および文間の境界エラーを効果的に修正できないことが示されました。

要約(オリジナル)

ChatGPT, a large-scale language model based on the advanced GPT-3.5 architecture, has shown remarkable potential in various Natural Language Processing (NLP) tasks. However, there is currently a dearth of comprehensive study exploring its potential in the area of Grammatical Error Correction (GEC). To showcase its capabilities in GEC, we design zero-shot chain-of-thought (CoT) and few-shot CoT settings using in-context learning for ChatGPT. Our evaluation involves assessing ChatGPT’s performance on five official test sets in three different languages, along with three document-level GEC test sets in English. Our experimental results and human evaluations demonstrate that ChatGPT has excellent error detection capabilities and can freely correct errors to make the corrected sentences very fluent, possibly due to its over-correction tendencies and not adhering to the principle of minimal edits. Additionally, its performance in non-English and low-resource settings highlights its potential in multilingual GEC tasks. However, further analysis of various types of errors at the document-level has shown that ChatGPT cannot effectively correct agreement, coreference, tense errors across sentences, and cross-sentence boundary errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI