Zero-shot Cross-Lingual Transfer for Synthetic Data Generation in Grammatical Error Detection

要約

文法的誤り検出 (GED) 手法は、人間による注釈付きの誤りコーパスに大きく依存しています。
ただし、これらの注釈は、多くの低リソース言語では利用できません。
この論文では、この文脈で GED を調査します。
多言語の事前トレーニング済み言語モデルのゼロショット言語間転送機能を活用して、さまざまな言語セットからのデータを使用してモデルをトレーニングし、他の言語で合成エラーを生成します。
これらの合成エラー コーパスは、GED モデルのトレーニングに使用されます。
具体的には、最初にターゲット言語からの多言語合成データに対して GED モデルを微調整し、次にソース言語から人間が注釈を付けた GED コーパスに対して微調整する 2 段階の微調整パイプラインを提案します。
このアプローチは、現在の最先端のアノテーション不要の GED メソッドよりも優れたパフォーマンスを発揮します。
また、私たちの手法や他の強力なベースラインによって生成されたエラーも分析し、私たちのアプローチがより多様で人的エラーに類似したエラーを生成することを発見しました。

要約(オリジナル)

Grammatical Error Detection (GED) methods rely heavily on human annotated error corpora. However, these annotations are unavailable in many low-resource languages. In this paper, we investigate GED in this context. Leveraging the zero-shot cross-lingual transfer capabilities of multilingual pre-trained language models, we train a model using data from a diverse set of languages to generate synthetic errors in other languages. These synthetic error corpora are then used to train a GED model. Specifically we propose a two-stage fine-tuning pipeline where the GED model is first fine-tuned on multilingual synthetic data from target languages followed by fine-tuning on human-annotated GED corpora from source languages. This approach outperforms current state-of-the-art annotation-free GED methods. We also analyse the errors produced by our method and other strong baselines, finding that our approach produces errors that are more diverse and more similar to human errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google