On Evaluation of Bangla Word Analogies

要約

タイトル：バングラ語の言葉の類推評価について

要約：

– この論文は、自然言語処理の分野における基本的な課題であるバングラ語の単語埋め込みの品質を評価するための高品質なデータセットを提供する。
– 世界で7番目に話されているにもかかわらず、バングラ語は低リソース言語であり、一般的なNLPモデルは十分な精度を出せない。
– バングラ語の単語埋め込みの信頼性のある評価テストセットを開発することは、ベンチマーキングや将来の研究の指針を提供する上で重要である。
– マイコロフ形式の単語類推評価セットを提供し、サンプルサイズは16678、さらに翻訳されたマイコロフデータセットの10594サンプルを含む。これは、クロスリンガルの研究に適している。
– 最新の埋め込みモデルでの実験は、バングラ語には独自の特徴があることを示し、現在のバングラ語の埋め込みは両方のデータセットで高い精度を達成することができないことがわかった。
– 将来の研究においては、より大規模なデータセットでモデルの訓練を行い、バングラ語の独自の形態論的特徴を考慮することが必要である。
– この研究は、バングラ語の信頼性のあるNLPシステムを構築するための最初のステップを表している。

要約(オリジナル)

This paper presents a high-quality dataset for evaluating the quality of Bangla word embeddings, which is a fundamental task in the field of Natural Language Processing (NLP). Despite being the 7th most-spoken language in the world, Bangla is a low-resource language and popular NLP models fail to perform well. Developing a reliable evaluation test set for Bangla word embeddings are crucial for benchmarking and guiding future research. We provide a Mikolov-style word analogy evaluation set specifically for Bangla, with a sample size of 16678, as well as a translated and curated version of the Mikolov dataset, which contains 10594 samples for cross-lingual research. Our experiments with different state-of-the-art embedding models reveal that Bangla has its own unique characteristics, and current embeddings for Bangla still struggle to achieve high accuracy on both datasets. We suggest that future research should focus on training models with larger datasets and considering the unique morphological characteristics of Bangla. This study represents the first step towards building a reliable NLP system for the Bangla language1.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI