To Err Is Human, but Llamas Can Learn It Too

要約

本研究では、言語モデル(LM)を用いた人工的なエラー生成(AEG)により、文法エラー訂正(GEC)を強化することを探求する。具体的には、エラー生成のためにLlama 2ベースのLMを微調整し、このアプローチが人間のエラーに似た合成エラーを生成することを見出した。次に、これらの人工的なエラーを用いてGEC Llamaモデルを訓練し、テストされた全ての言語（ドイツ語、ウクライナ語、エストニア語）において、0.8から6 F0.5ポイントの利得を得ることで、これまでの最先端のエラー修正モデルを凌駕した。さらに、小規模な配列間モデルを微調整してエラーを生成し、大規模な商用LM（GPT-3.5とGPT-4）を促すことによっても、合成エラーがエラー生成モデルに有益な影響を与えることを実証した。

要約(オリジナル)

This study explores enhancing grammatical error correction (GEC) through artificial error generation (AEG) using language models (LMs). Specifically, we fine-tune Llama 2-based LMs for error generation and find that this approach yields synthetic errors akin to human errors. Next, we train GEC Llama models with the help of these artificial errors and outperform previous state-of-the-art error correction models, with gains ranging between 0.8 and 6 F0.5 points across all tested languages (German, Ukrainian, and Estonian). Moreover, we demonstrate that generating errors by fine-tuning smaller sequence-to-sequence models and prompting large commercial LMs (GPT-3.5 and GPT-4) also results in synthetic errors beneficially affecting error generation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL