Refining Corpora from a Model Calibration Perspective for Chinese Spelling Correction

要約

中国語のスペル修正 (CSC) では、実際の人間の筆記やタイピングのシナリオではスペル ミスのラベル付けに労力がかかるため、一般に大規模で高品質なコーパスが不足しています。
2 つのデータ拡張方法が広く採用されています: (1) 混同セットを利用した \textit{ランダム置換}、および (2) 文字の誤用をシミュレートする \textit{OCR/ASR ベースの生成}。
ただし、どちらの方法でもノイズの多いデータ (スペルミスなど) が必然的に発生し、過剰修正につながる可能性があります。
2 種類のコーパスを注意深く分析することにより、後者はより堅牢な汎化パフォーマンスを実現しますが、前者はより適切に調整された CSC モデルを生成することがわかりました。
次に、この経験的観察の理論的分析を提供し、それに基づいてコーパス洗練戦略を提案します。
具体的には、OCR/ASR ベースのデータ サンプルが、ランダム置換ベースのコーパスでトレーニングされた適切に調整された CSC モデルに入力され、予測の信頼性に基づいてフィルタリングされます。
洗練された OCR/ASR ベースのコーパスでシンプルな BERT ベースのモデルを学習することで、広く使用されている 3 つのベンチマークで印象的な最先端のパフォーマンスを確立しながら、過剰補正を大幅に軽減します (例: 誤検知予測の低下)
）。

要約(オリジナル)

Chinese Spelling Correction (CSC) commonly lacks large-scale high-quality corpora, due to the labor-intensive labeling of spelling errors in real-life human writing or typing scenarios. Two data augmentation methods are widely adopted: (1) \textit{Random Replacement} with the guidance of confusion sets and (2) \textit{OCR/ASR-based Generation} that simulates character misusing. However, both methods inevitably introduce noisy data (e.g., false spelling errors), potentially leading to over-correction. By carefully analyzing the two types of corpora, we find that though the latter achieves more robust generalization performance, the former yields better-calibrated CSC models. We then provide a theoretical analysis of this empirical observation, based on which a corpus refining strategy is proposed. Specifically, OCR/ASR-based data samples are fed into a well-calibrated CSC model trained on random replacement-based corpora and then filtered based on prediction confidence. By learning a simple BERT-based model on the refined OCR/ASR-based corpus, we set up impressive state-of-the-art performance on three widely-used benchmarks, while significantly alleviating over-correction (e.g., lowering false positive predictions).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google