Rich Semantic Knowledge Enhanced Large Language Models for Few-shot Chinese Spell Checking

要約

中国語のスペル チェック (CSC) は広く使用されているテクノロジであり、音声テキスト変換 (STT) や光学式文字認識 (OCR) で重要な役割を果たします。
BERT アーキテクチャに依存する既存の CSC アプローチのほとんどは、優れたパフォーマンスを実現します。
ただし、基盤モデルの規模によって制限されるため、BERT ベースの手法はショット数が少ないシナリオではうまく機能せず、実際のアプリケーションでは一定の制限が生じます。
このペーパーでは、RS-LLM (リッチ セマンティック ベースの LLM) と呼ばれるインコンテキスト学習手法を使用して、基礎モデルとして大規模言語モデル (LLM) を導入する方法を検討します。
さらに、私たちのフレームワークにさまざまな中国語の豊富な意味情報を導入することの影響を研究します。
少数の特定の中国語の豊富な意味構造を導入することにより、LLM は少数ショットの CSC タスクで BERT ベースのモデルよりも優れたパフォーマンスを達成できることがわかりました。
さらに、複数のデータセットに対して実験を行い、提案したフレームワークの優位性を実験結果から検証しました。

要約(オリジナル)

Chinese Spell Checking (CSC) is a widely used technology, which plays a vital role in speech to text (STT) and optical character recognition (OCR). Most of the existing CSC approaches relying on BERT architecture achieve excellent performance. However, limited by the scale of the foundation model, BERT-based method does not work well in few-shot scenarios, showing certain limitations in practical applications. In this paper, we explore using an in-context learning method named RS-LLM (Rich Semantic based LLMs) to introduce large language models (LLMs) as the foundation model. Besides, we study the impact of introducing various Chinese rich semantic information in our framework. We found that by introducing a small number of specific Chinese rich semantic structures, LLMs achieve better performance than the BERT-based model on few-shot CSC task. Furthermore, we conduct experiments on multiple datasets, and the experimental results verified the superiority of our proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google