MphayaNER: Named Entity Recognition for Tshivenda

要約

タイトル：MphayaNER：Tshivendaの名前付きエンティティ認識
要約：
– 名前付きエンティティ認識（NER）は、情報検索、テキスト分類、質問応答など、さまざまな自然言語処理タスクで重要な役割を果たしています。
– ただし、限られた注釈付きデータセットやツールを持つ低資源言語では、NERは特に困難であることがあります。
– この論文では、ニュースのドメインにおけるTshivenda NERコーパスであるMphayaNERを紹介することにより、これらの課題に対処する取り組みに貢献しています。
– MphayaNER上で、最新のモデルをファインチューニングすることによって、NERのベースラインを確立しています。
– この研究では、Tshivendaと他の関連するバントゥ語族言語間のゼロショット転送を探索し、chiShonaとKiswahiliが最も優れた結果を示したことも示しています。
– MphayaNERにchiShonaデータを追加することで、モデルの性能が著しく改善されることもわかりました。
– MphayaNERとベースラインモデルの両方が公開されています。

要約(オリジナル)

Named Entity Recognition (NER) plays a vital role in various Natural Language Processing tasks such as information retrieval, text classification, and question answering. However, NER can be challenging, especially in low-resource languages with limited annotated datasets and tools. This paper adds to the effort of addressing these challenges by introducing MphayaNER, the first Tshivenda NER corpus in the news domain. We establish NER baselines by \textit{fine-tuning} state-of-the-art models on MphayaNER. The study also explores zero-shot transfer between Tshivenda and other related Bantu languages, with chiShona and Kiswahili showing the best results. Augmenting MphayaNER with chiShona data was also found to improve model performance significantly. Both MphayaNER and the baseline models are made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI