Persian Typographical Error Type Detection using Many-to-Many Deep Neural Networks on Algorithmically-Generated Misspellings

要約

デジタル テクノロジーのおかげで、さまざまな言語、スタイル、形式で毎日作成されるテキストが大量に流入しています。
スペルチェック システムはデジタルで作成されたテキストを洗練するために非常に重要であるため、スペル チェック システムの人気の多くはこの現象によるものと考えられます。
この研究では、比較的研究が進んでいないペルシア語の誤字タイプの検出に取り組みます。
この論文では、FarsTypo という名前の公開データセットを紹介します。このデータセットには、さまざまなトピックや言語スタイルの時系列に並べられ、品詞タグが付けられた 340 万語の単語が含まれています。
ペルシア語特有の誤りを適用するアルゴリズムが開発され、これらの単語のスケーラブルなサイズに適用され、正しい単語と間違った単語の並列データセットが形成されます。
FarsTypo を使用して、確固たるベースラインを確立し、さまざまなアーキテクチャを使用してさまざまな方法論を比較します。
さらに、双方向 LSTM 層と組み合わせて単語と文字の両方の埋め込みを使用してトークン分類を実行し、51 のクラスにわたる誤植を検出する新しい多対多深層順次ニューラル ネットワークを紹介します。
私たちのアプローチを、この研究とは異なり、さまざまなリソースを利用して開発された高度に先進的な産業システムと比較します。
最終的な方法の結果は、精度 97.62%、適合率 98.83%、再現率 98.61% を達成し、速度の点で他の方法を上回ったという点で競争力がありました。

要約(オリジナル)

Digital technologies have led to an influx of text created daily in a variety of languages, styles, and formats. A great deal of the popularity of spell-checking systems can be attributed to this phenomenon since they are crucial to polishing the digitally conceived text. In this study, we tackle Typographical Error Type Detection in Persian, which has been relatively understudied. In this paper, we present a public dataset named FarsTypo, containing 3.4 million chronologically ordered and part-of-speech tagged words of diverse topics and linguistic styles. An algorithm for applying Persian-specific errors is developed and applied to a scalable size of these words, forming a parallel dataset of correct and incorrect words. Using FarsTypo, we establish a firm baseline and compare different methodologies using various architectures. In addition, we present a novel Many-to-Many Deep Sequential Neural Network to perform token classification using both word and character embeddings in combination with bidirectional LSTM layers to detect typographical errors across 51 classes. We compare our approach with highly-advanced industrial systems that, unlike this study, have been developed utilizing a variety of resources. The results of our final method were competitive in that we achieved an accuracy of 97.62%, a precision of 98.83%, a recall of 98.61%, and outperformed the rest in terms of speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google