A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check

要約

事前トレーニング済みモデルの開発と音声およびグラフィック情報の組み込みにより、ニューラル モデルは中国語スペル チェック (CSC) で高いスコアを達成しました。
ただし、テスト セットが限られているため、モデルの機能を包括的に反映するものではありません。
この研究では、代表的なモデル パラダイムを抽象化し、9 つの構造で実装し、さまざまな目的で構築した包括的なテスト セットで実験します。
結果を詳細に分析した結果、次のことがわかりました。 1) 音声情報とグラフィック情報を合理的に融合することが CSC に効果的です。
2) モデルはテストセットの誤差分布に敏感であり、これはモデルの欠点を反映し、取り組むべき方向性を明らかにします。
3) エラーとコンテキストが確認されたかどうかは、モデルに大きな影響を与えます。
4) 一般的に使用されるベンチマークである SIGHAN は、モデルのパフォーマンスを確実に評価できません。

要約(オリジナル)

With the development of pre-trained models and the incorporation of phonetic and graphic information, neural models have achieved high scores in Chinese Spelling Check (CSC). However, it does not provide a comprehensive reflection of the models’ capability due to the limited test sets. In this study, we abstract the representative model paradigm, implement it with nine structures and experiment them on comprehensive test sets we constructed with different purposes. We perform a detailed analysis of the results and find that: 1) Fusing phonetic and graphic information reasonably is effective for CSC. 2) Models are sensitive to the error distribution of the test set, which reflects the shortcomings of models and reveals the direction we should work on. 3) Whether or not the errors and contexts have been seen has a significant impact on models. 4) The commonly used benchmark, SIGHAN, can not reliably evaluate models’ performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google