MILU: A Multi-task Indic Language Understanding Benchmark

要約

低リソースで言語的に多様な言語における大規模言語モデル（LLM）の評価は、特にインドで話されているような非ラテン文字を使用する言語において、自然言語処理における重要な課題として残っている。既存のベンチマークは主に英語に焦点を当てており、これらの言語におけるLLMの能力を評価する上で大きなギャップが残されています。このギャップに対処するために設計された包括的な評価ベンチマークであるMILU（Multi task Indic Language Understanding Benchmark）を紹介する。MILUは、一般的な知識と文化特有の知識の両方を反映し、11のインド系言語にわたる8つのドメインと41の主題に及んでいます。インドを中心としたデザインで、科学や数学のような標準的な科目に加え、地域の歴史、芸術、祭り、法律などのトピックをカバーし、地域や州レベルの試験から教材を組み込んでいます。我々は42以上のLLMを評価し、現在のLLMがMILUに苦戦していることを発見した。オープンな多言語モデルは、言語固有のファインチューニングされたモデルを凌駕しており、ランダムなベースラインよりもわずかに良好な結果を示している。また、リソースが高い言語では、リソースが低い言語と比較して、モデルの性能が高い。ドメイン別の分析によると、芸術・人文科学、法律、ガバナンスのような文化的に関連した分野では、STEMのような一般的な分野と比較して、モデルの性能が低いことが示されている。我々の知る限り、MILUはインディオ言語に焦点を当てた初めてのベンチマークであり、包括的な文化評価に向けた重要な一歩となっている。すべてのコード、ベンチマーク、成果物は、オープンな研究を促進するために一般公開されています。

要約(オリジナル)

Evaluating Large Language Models (LLMs) in low-resource and linguistically diverse languages remains a significant challenge in NLP, particularly for languages using non-Latin scripts like those spoken in India. Existing benchmarks predominantly focus on English, leaving substantial gaps in assessing LLM capabilities in these languages. We introduce MILU, a Multi task Indic Language Understanding Benchmark, a comprehensive evaluation benchmark designed to address this gap. MILU spans 8 domains and 41 subjects across 11 Indic languages, reflecting both general and culturally specific knowledge. With an India-centric design, incorporates material from regional and state-level examinations, covering topics such as local history, arts, festivals, and laws, alongside standard subjects like science and mathematics. We evaluate over 42 LLMs, and find that current LLMs struggle with MILU, with GPT-4o achieving the highest average accuracy at 74 percent. Open multilingual models outperform language-specific fine-tuned models, which perform only slightly better than random baselines. Models also perform better in high resource languages as compared to low resource ones. Domain-wise analysis indicates that models perform poorly in culturally relevant areas like Arts and Humanities, Law and Governance compared to general fields like STEM. To the best of our knowledge, MILU is the first of its kind benchmark focused on Indic languages, serving as a crucial step towards comprehensive cultural evaluation. All code, benchmarks, and artifacts are publicly available to foster open research.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL