Evaluating Compact LLMs for Zero-Shot Iberian Language Tasks on End-User Devices

要約

大規模言語モデルは、言語生成、翻訳、推論などのタスクで顕著な性能を達成し、自然言語処理を大きく発展させてきた。しかし、その膨大な計算量はハイエンドシステムへの展開を制限し、コンシューマーグレードのデバイスでの利用を制限している。この課題は、イベリア半島で話されているようなリソース不足の言語では特に顕著であり、言語リソースやベンチマークが比較的限られているため、効果的な評価が妨げられている。本研究では、イベリア半島の言語向けに調整されたいくつかの重要なNLPタスクにおいて、コンパクトな最新のLLMを包括的に評価した。その結果、特定のタスクにおいて一貫して優れているモデルがある一方で、特にバスク語のような言語では大きな性能差が残っていることが明らかになった。これらの知見は、モデルのコンパクト性とロバストな多言語性能のバランスをとるためのさらなる研究の必要性を浮き彫りにしている。

要約(オリジナル)

Large Language Models have significantly advanced natural language processing, achieving remarkable performance in tasks such as language generation, translation, and reasoning. However, their substantial computational requirements restrict deployment to high-end systems, limiting accessibility on consumer-grade devices. This challenge is especially pronounced for under-resourced languages like those spoken in the Iberian Peninsula, where relatively limited linguistic resources and benchmarks hinder effective evaluation. This work presents a comprehensive evaluation of compact state-of-the-art LLMs across several essential NLP tasks tailored for Iberian languages. The results reveal that while some models consistently excel in certain tasks, significant performance gaps remain, particularly for languages such as Basque. These findings highlight the need for further research on balancing model compactness with robust multilingual performance

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL