Are Pre-trained Language Models Useful for Model Ensemble in Chinese Grammatical Error Correction?

要約

モデル アンサンブルは、文法的誤り訂正 (GEC) のために広く使用されており、モデルのパフォーマンスを向上させています。
私たちは、事前トレーニングされた言語モデル (PLM) によって計算されたパープレキシティ (PPL) に基づくモデル アンサンブルが GEC システムに利益をもたらすはずであると仮説を立てています。
この目的を達成するために、4 つの洗練された単一モデルを備えた強力な PLM に基づくいくつかのアンサンブル戦略を検討します。
ただし、PLM ベースのアンサンブルの後、パフォーマンスは改善されず、むしろ悪化しました。
この驚くべき結果により、私たちはデータの詳細な分析を行い、GEC に関するいくつかの洞察を導き出すことになりました。
テスト データでは、人間による正しい文の参照は十分とは言えず、正しい文と慣用的な文との間のギャップは注目に値します。
さらに、PLM ベースのアンサンブル戦略は、GEC ベンチマーク データを拡張および改善する効果的な方法を提供します。
私たちのソース コードは https://github.com/JamyDon/PLM-based-CGEC-Model-Ensemble で入手できます。

要約(オリジナル)

Model ensemble has been in widespread use for Grammatical Error Correction (GEC), boosting model performance. We hypothesize that model ensemble based on the perplexity (PPL) computed by pre-trained language models (PLMs) should benefit the GEC system. To this end, we explore several ensemble strategies based on strong PLMs with four sophisticated single models. However, the performance does not improve but even gets worse after the PLM-based ensemble. This surprising result sets us doing a detailed analysis on the data and coming up with some insights on GEC. The human references of correct sentences is far from sufficient in the test data, and the gap between a correct sentence and an idiomatic one is worth our attention. Moreover, the PLM-based ensemble strategies provide an effective way to extend and improve GEC benchmark data. Our source code is available at https://github.com/JamyDon/PLM-based-CGEC-Model-Ensemble.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google