A Chinese Spelling Check Framework Based on Reverse Contrastive Learning

要約

中国語のスペル チェックは、中国語のテキストのスペル ミスを検出して修正するタスクです。
既存の研究は、テキスト表現を強化し、マルチソース情報を使用してモデルの検出および修正能力を向上させることを目的としていますが、混同しやすい単語を区別する能力の向上にはあまり注意を払っていません。
類似したサンプルペア間の表現空間における距離を最小限に抑えることを目的とする対照学習は、最近、自然言語処理において主流の技術となっています。
対照学習にインスピレーションを得て、言語表現、スペル チェック、逆対照学習の 3 つのモジュールで構成される、中国語のスペル チェックのための新しいフレームワークを紹介します。
具体的には、類似した例、つまり音声的にも視覚的にも混同しやすい文字間の一致を最小化するようにモデルに明示的に強制する、逆対比学習戦略を提案します。
実験結果は、私たちのフレームワークがモデルに依存せず、既存の中国語スペルチェック モデルと組み合わせて最先端のパフォーマンスを実現できることを示しています。

要約(オリジナル)

Chinese spelling check is a task to detect and correct spelling mistakes in Chinese text. Existing research aims to enhance the text representation and use multi-source information to improve the detection and correction capabilities of models, but does not pay too much attention to improving their ability to distinguish between confusable words. Contrastive learning, whose aim is to minimize the distance in representation space between similar sample pairs, has recently become a dominant technique in natural language processing. Inspired by contrastive learning, we present a novel framework for Chinese spelling checking, which consists of three modules: language representation, spelling check and reverse contrastive learning. Specifically, we propose a reverse contrastive learning strategy, which explicitly forces the model to minimize the agreement between the similar examples, namely, the phonetically and visually confusable characters. Experimental results show that our framework is model-agnostic and could be combined with existing Chinese spelling check models to yield state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google