UzbekTagger: The rule-based POS tagger for Uzbek language

要約

この研究論文では、リソースの少ないウズベク語用の品詞 (POS) 注釈付きデータセットとタグ付けツールを紹介します。
データセットには、ルールベースの POS タグ ツールの開発に使用された 12 個のタグが含まれています。
アノテーション プロセスで使用されるコーパス テキストは、その代表性を確保するために、20 の異なるフィールドにわたってバランスが取れていることを確認しました。
ウズベク語は膠着語であるため、ウズベク語の文のほとんどの単語は接尾辞を追加することによって形成されます。
この性質により、POS タグ付けタスクは、単語の語幹とそれらが属する適切な品詞を見つけることが困難になります。
この研究で提案された方法論は、ウズベク語の単語の幹形のデータベースを含む、接辞/接尾辞の除去アプローチによる単語のステミングです。
タグ付けツールは、注釈付きのデータセットでテストされ、ウズベク語テキストの品詞の識別とタグ付けにおいて高い精度を示しました。
この新しく発表されたデータセットとタグ付けツールは、言語モデリング、機械翻訳、テキストから音声への合成など、さまざまな自然言語処理タスクに使用できます。
提示されたデータセットは、ウズベク語で公開された最初のものであり、作成された POS-tagger ツールは、他の密接に関連するトルコ語のベースとして使用するためのピボットとしても使用できます。

要約(オリジナル)

This research paper presents a part-of-speech (POS) annotated dataset and tagger tool for the low-resource Uzbek language. The dataset includes 12 tags, which were used to develop a rule-based POS-tagger tool. The corpus text used in the annotation process was made sure to be balanced over 20 different fields in order to ensure its representativeness. Uzbek being an agglutinative language so the most of the words in an Uzbek sentence are formed by adding suffixes. This nature of it makes the POS-tagging task difficult to find the stems of words and the right part-of-speech they belong to. The methodology proposed in this research is the stemming of the words with an affix/suffix stripping approach including database of the stem forms of the words in the Uzbek language. The tagger tool was tested on the annotated dataset and showed high accuracy in identifying and tagging parts of speech in Uzbek text. This newly presented dataset and tagger tool can be used for a variety of natural language processing tasks such as language modeling, machine translation, and text-to-speech synthesis. The presented dataset is the first of its kind to be made publicly available for Uzbek, and the POS-tagger tool created can also be used as a pivot to use as a base for other closely-related Turkic languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google