To Err Is Human, but Llamas Can Learn It Too

要約

この研究では、言語モデル (LM) を使用した人工誤り生成 (AEG) による文法誤り訂正 (GEC) の強化について調査します。
具体的には、エラー生成のために Llama 2 ベースの LM を微調整したところ、このアプローチでは人的エラーに似た合成エラーが発生することがわかりました。
次に、これらの人為的エラーを利用して GEC Llama モデルをトレーニングし、テストされたすべての言語 (ドイツ語、ウクライナ語、エストニア語) で 0.8 ～ 6 F0.5 ポイントの範囲でゲインが得られ、以前の最先端のエラー修正モデルを上回りました。
）。
さらに、より小さな配列間モデルを微調整し、大規模な商用 LM (GPT-3.5 および GPT-4) を促すことによってエラーを生成すると、合成エラーが生成され、エラー生成モデルに有益な影響を与えることも実証します。

要約(オリジナル)

This study explores enhancing grammatical error correction (GEC) through artificial error generation (AEG) using language models (LMs). Specifically, we fine-tune Llama 2-based LMs for error generation and find that this approach yields synthetic errors akin to human errors. Next, we train GEC Llama models with the help of these artificial errors and outperform previous state-of-the-art error correction models, with gains ranging between 0.8 and 6 F0.5 points across all tested languages (German, Ukrainian, and Estonian). Moreover, we demonstrate that generating errors by fine-tuning smaller sequence-to-sequence models and prompting large commercial LMs (GPT-3.5 and GPT-4) also results in synthetic errors beneficially affecting error generation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google