Leveraging Denoised Abstract Meaning Representation for Grammatical Error Correction

要約

文法的誤り訂正 (GEC) は、誤りのある文を、文法的に正しく、意味的に一貫した一貫した文に修正するタスクです。
一般的な GEC モデルは、大規模な合成コーパスを使用するか、人間が設計した多数のルールを使用します。
前者はトレーニングにコストがかかりますが、後者は非常に多くの人間の専門知識を必要とします。
近年、意味表現フレームワークである AMR は、その完全性と柔軟性により、多くの自然言語タスクで広く使用されています。
無視できない懸念は、文法的に間違った文の AMR が正確には信頼できない可能性があることです。
この論文では、追加の知識としてノイズ除去された AMR を組み込んだ seq-to-seq モデルである AMR-GEC を提案します。
具体的には、セマンティックに集約された GEC モデルを設計し、AMR の信頼性を高めるためのノイズ除去方法を検討します。
BEA-2019 共有タスクと CoNLL-2014 共有タスクに関する実験では、AMR-GEC が多数の合成データを使用した一連の強力なベースラインと同等のパフォーマンスを発揮することが示されました。
合成データを使用した T5 モデルと比較して、AMR-GEC は、推論時間は同等でありながら、トレーニング時間を 32\% 削減できます。
私たちの知る限り、文法上の誤りを修正するために AMR を組み込んだのは私たちが初めてです。

要約(オリジナル)

Grammatical Error Correction (GEC) is the task of correcting errorful sentences into grammatically correct, semantically consistent, and coherent sentences. Popular GEC models either use large-scale synthetic corpora or use a large number of human-designed rules. The former is costly to train, while the latter requires quite a lot of human expertise. In recent years, AMR, a semantic representation framework, has been widely used by many natural language tasks due to its completeness and flexibility. A non-negligible concern is that AMRs of grammatically incorrect sentences may not be exactly reliable. In this paper, we propose the AMR-GEC, a seq-to-seq model that incorporates denoised AMR as additional knowledge. Specifically, We design a semantic aggregated GEC model and explore denoising methods to get AMRs more reliable. Experiments on the BEA-2019 shared task and the CoNLL-2014 shared task have shown that AMR-GEC performs comparably to a set of strong baselines with a large number of synthetic data. Compared with the T5 model with synthetic data, AMR-GEC can reduce the training time by 32\% while inference time is comparable. To the best of our knowledge, we are the first to incorporate AMR for grammatical error correction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google