MultiBLiMP 1.0: A Massively Multilingual Benchmark of Linguistic Minimal Pairs

要約

101の言語、6つの言語現象をカバーし、125,000以上のミニマルペアを含む、言語ミニマルペアの大規模多言語ベンチマークであるMultiBLiMP 1.0を紹介する。このミニマルペアは、Universal DependenciesとUniMorphの大規模な言語リソースを活用し、完全に自動化されたパイプラインを使用して作成されています。MultiBLiMP 1.0は、前例のない多言語スケールでLLMの能力を評価し、低リソース言語のモデリングにおける現在の最新技術の欠点を浮き彫りにしています。

要約(オリジナル)

We introduce MultiBLiMP 1.0, a massively multilingual benchmark of linguistic minimal pairs, covering 101 languages, 6 linguistic phenomena and containing more than 125,000 minimal pairs. Our minimal pairs are created using a fully automated pipeline, leveraging the large-scale linguistic resources of Universal Dependencies and UniMorph. MultiBLiMP 1.0 evaluates abilities of LLMs at an unprecedented multilingual scale, and highlights the shortcomings of the current state-of-the-art in modelling low-resource languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL