SIB-200: A Simple, Inclusive, and Big Evaluation Dataset for Topic Classification in 200+ Languages and Dialects

要約

過去数年間に多言語自然言語処理において記録された進歩にもかかわらず、評価は通常、多数の低リソース言語を除外し、利用可能なデータセットを持つ少数の言語セットに限定されています。
この論文では、自然言語理解 (NLU) の評価データセットの不足に対処するために、200 の言語と方言のトピック分類のための大規模なオープンソースのベンチマーク データセットである SIB-200 を作成しました。
SIB-200 でカバーされている言語の多くにとって、これは NLU の最初に公開された評価データセットです。
データセットは、Flores-200 機械翻訳コーパスに基づいています。
データセットの英語部分に注釈を付け、コーパスでカバーされている残りの 203 言語に文レベルの注釈を拡張しました。
このタスクは単純であるにもかかわらず、完全教師あり設定、言語間転送設定、および大規模な言語モデル設定のプロンプトでの評価では、多言語評価時の高リソース言語と低リソース言語のパフォーマンスの間には依然として大きなギャップがあることが示されています。
多数の世界言語に対応しています。
多言語言語モデルの事前トレーニング中に表示されなかった言語、過小評価されている言語族 (ナイロティック語やアルタンティックコンゴ語など)、アフリカ、アメリカ大陸、オセアニア、東南アジア地域の言語は、パフォーマンスが最も低いことが多いことがわかりました。
トピック分類データセットについて。
私たちのデータセットが、より多様な言語セットにおける多言語言語モデルのより包括的な評価を促進することを願っています。
https://github.com/dadelani/sib-200

要約(オリジナル)

Despite the progress we have recorded in the last few years in multilingual natural language processing, evaluation is typically limited to a small set of languages with available datasets which excludes a large number of low-resource languages. In this paper, we created SIB-200 — a large-scale open-sourced benchmark dataset for topic classification in 200 languages and dialects to address the lack of evaluation dataset for Natural Language Understanding (NLU). For many of the languages covered in SIB-200, this is the first publicly available evaluation dataset for NLU. The dataset is based on Flores-200 machine translation corpus. We annotated the English portion of the dataset and extended the sentence-level annotation to the remaining 203 languages covered in the corpus. Despite the simplicity of this task, our evaluation in full-supervised setting, cross-lingual transfer setting and prompting of large language model setting show that there is still a large gap between the performance of high-resource and low-resource languages when multilingual evaluation is scaled to numerous world languages. We found that languages unseen during the pre-training of multilingual language models, under-represented language families (like Nilotic and Altantic-Congo), and languages from the regions of Africa, Americas, Oceania and South East Asia, often have the lowest performance on our topic classification dataset. We hope our dataset will encourage a more inclusive evaluation of multilingual language models on a more diverse set of languages. https://github.com/dadelani/sib-200

arxiv情報

提供元, 利用サービス

arxiv.jp, Google