An Empirical Investigation of Domain Adaptation Ability for Chinese Spelling Check Models

要約

中国語のスペル チェック (CSC) は、中国語のテキストのスペル ミスを検出し、これらのエラーを修正することを目的とした、自然言語処理 (NLP) の分野における有意義なタスクです。
ただし、CSC モデルは、一般的なコーパスでトレーニングされた事前トレーニング済みの言語モデルに基づいています。
その結果、ドメイン固有の用語を含む下流のタスクに直面すると、パフォーマンスが低下する可能性があります。
この論文では、金融、医療、法律分野の豊富な領域固有の用語を含む 3 つの新しいデータセットを構築することにより、さまざまな典型的な CSC モデルの領域適応能力について徹底的な評価を実施します。
次に、対応するドメイン固有のテスト データセットで実証的調査を実施し、いくつかの典型的な CSC モデルのクロスドメイン適応能力を確認します。
また、人気のある大規模言語モデル ChatGPT のパフォーマンスもテストします。
私たちの実験で示されたように、CSC モデルのパフォーマンスは新しいドメインでは大幅に低下します。

要約(オリジナル)

Chinese Spelling Check (CSC) is a meaningful task in the area of Natural Language Processing (NLP) which aims at detecting spelling errors in Chinese texts and then correcting these errors. However, CSC models are based on pretrained language models, which are trained on a general corpus. Consequently, their performance may drop when confronted with downstream tasks involving domain-specific terms. In this paper, we conduct a thorough evaluation about the domain adaption ability of various typical CSC models by building three new datasets encompassing rich domain-specific terms from the financial, medical, and legal domains. Then we conduct empirical investigations in the corresponding domain-specific test datasets to ascertain the cross-domain adaptation ability of several typical CSC models. We also test the performance of the popular large language model ChatGPT. As shown in our experiments, the performances of the CSC models drop significantly in the new domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google