BanLemma: A Word Formation Dependent Rule and Dictionary Based Bangla Lemmatizer

要約

見出し語化は、データ密度を効果的に低減し、文脈上の意味の理解を助けるため、自然言語処理 (NLP) と言語学の両方で重要です。
ただし、高度に活用された性質と形態学的豊かさのため、バングラ語テキストの見出し語化は複雑な課題を引き起こします。
この研究では、見出し語化の言語規則を提案し、その規則とともに辞書を利用してバングラ語専用の見出し語化器を設計します。
私たちのシステムは、特定の文内の品詞クラスに基づいて単語を見出し語化することを目的としています。
以前のルールベースのアプローチとは異なり、形態構文値に従って接尾辞マーカーの出現を分析し、接尾辞全体ではなく接尾辞マーカーのシーケンスを利用しました。
ルールを開発するために、さまざまな分野、情報源、時代からのバングラ語テキストの大規模なコーパスを分析し、語形変化の語形を観察します。
このレンマタイザーは、訓練を受けた言語学者が手動で注釈を付けたテスト データセットに対してテストした場合、96.36% の精度を達成し、以前に公開された 3 つのバングラ語見出し語化データセットに対して競合するパフォーマンスを実証しました。
私たちはバングラ NLP のさらなる進歩に貢献するために、コードとデータセットを https://github.com/eblict-gigatech/BanLemma で公開しています。

要約(オリジナル)

Lemmatization holds significance in both natural language processing (NLP) and linguistics, as it effectively decreases data density and aids in comprehending contextual meaning. However, due to the highly inflected nature and morphological richness, lemmatization in Bangla text poses a complex challenge. In this study, we propose linguistic rules for lemmatization and utilize a dictionary along with the rules to design a lemmatizer specifically for Bangla. Our system aims to lemmatize words based on their parts of speech class within a given sentence. Unlike previous rule-based approaches, we analyzed the suffix marker occurrence according to the morpho-syntactic values and then utilized sequences of suffix markers instead of entire suffixes. To develop our rules, we analyze a large corpus of Bangla text from various domains, sources, and time periods to observe the word formation of inflected words. The lemmatizer achieves an accuracy of 96.36% when tested against a manually annotated test dataset by trained linguists and demonstrates competitive performance on three previously published Bangla lemmatization datasets. We are making the code and datasets publicly available at https://github.com/eblict-gigatech/BanLemma in order to contribute to the further advancement of Bangla NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google