The Uncertainty-based Retrieval Framework for Ancient Chinese CWS and POS

要約

現代中国語の自動分析により、関連分野のテキストマイニングの精度が大幅に向上しましたが、古代中国語の研究はまだ比較的まれです。
古文の分割と語彙注釈は古典文学の理解の重要な部分であり、これまでの研究では、そのパフォーマンスを向上させるために補助辞書やその他の知識を融合させたものを構築することが試みられてきました。
この論文では、古代中国語の単語分割と品詞タグ付けのフレームワークを提案します。これは 2 つの努力を行います。一方では、単語の意味論を捕捉しようとします。
一方で、ベースラインモデルの不確実なサンプルを外部知識を導入して再予測します。
私たちのアーキテクチャのパフォーマンスは、CRF や Jiayan などの既存のツールを使用して事前トレーニングされた BERT よりも優れています。

要約(オリジナル)

Automatic analysis for modern Chinese has greatly improved the accuracy of text mining in related fields, but the study of ancient Chinese is still relatively rare. Ancient text division and lexical annotation are important parts of classical literature comprehension, and previous studies have tried to construct auxiliary dictionary and other fused knowledge to improve the performance. In this paper, we propose a framework for ancient Chinese Word Segmentation and Part-of-Speech Tagging that makes a twofold effort: on the one hand, we try to capture the wordhood semantics; on the other hand, we re-predict the uncertain samples of baseline model by introducing external knowledge. The performance of our architecture outperforms pre-trained BERT with CRF and existing tools such as Jiayan.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google