Exploring Effectiveness of GPT-3 in Grammatical Error Correction: A Study on Performance and Controllability in Prompt-Based Methods

要約

GPT-3 などの大規模な事前トレーニング済み言語モデルは、さまざまな自然言語処理タスクにわたって顕著なパフォーマンスを示しています。
ただし、GPT-3 を使用したプロンプトベースの手法を文法的誤り訂正 (GEC) タスクに適用することとその制御性については、まだ研究が進んでいません。
GEC の制御性は、実際のアプリケーション、特に学習者のレベルや特定のエラーの種類に応じてフィードバックを調整する機能が学習プロセスを大幅に強化できる教育現場では非常に重要です。
この論文では、ゼロショットおよびフューショット設定を使用した GEC タスクに対する GPT-3 によるプロンプトベースの手法のパフォーマンスと制御性を調査します。
最小限の編集、流暢な編集、学習者のレベルなどの制御面に焦点を当て、タスクの指示と例が GPT-3 の出力に及ぼす影響を調査します。
私たちの調査結果は、GPT-3 が GEC タスクを効果的に実行でき、既存の教師ありおよび教師なしのアプローチを上回るパフォーマンスを発揮できることを示しています。
また、適切なタスク指示と例が与えられた場合、GPT-3 が制御性を達成できることも示しました。

要約(オリジナル)

Large-scale pre-trained language models such as GPT-3 have shown remarkable performance across various natural language processing tasks. However, applying prompt-based methods with GPT-3 for Grammatical Error Correction (GEC) tasks and their controllability remains underexplored. Controllability in GEC is crucial for real-world applications, particularly in educational settings, where the ability to tailor feedback according to learner levels and specific error types can significantly enhance the learning process. This paper investigates the performance and controllability of prompt-based methods with GPT-3 for GEC tasks using zero-shot and few-shot setting. We explore the impact of task instructions and examples on GPT-3’s output, focusing on controlling aspects such as minimal edits, fluency edits, and learner levels. Our findings demonstrate that GPT-3 could effectively perform GEC tasks, outperforming existing supervised and unsupervised approaches. We also showed that GPT-3 could achieve controllability when appropriate task instructions and examples are given.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google