InkubaLM: A small language model for low-resource African languages

要約

高リソース言語モデルは、アフリカの文脈では不足することが多く、コンピューティングやデータの制約が大きい中でも、効率的で、アクセスしやすく、現地に即したモデルが切実に求められている。本論文では、機械翻訳、質問応答、AfriMMLU、およびAfriXnliタスクなどのタスクにおいて、大幅に大きなパラメータ数と豊富な学習データを持つモデルに匹敵する性能を達成した、0.4億パラメータの小さな言語モデルInkubaLMを紹介します。特筆すべきは、InkubaLMは感情分析において多くの大規模モデルを凌駕し、複数の言語間で顕著な一貫性を示していることである。この研究は、効果的な言語モデルは大規模なリソースに依存しなければならないという従来のパラダイムに挑戦する極めて重要な進歩である。我々のモデルとデータセットは、低リソース言語の研究開発を奨励するため、https://huggingface.co/lelapa で公開されている。

要約(オリジナル)

High-resource language models often fall short in the African context, where there is a critical need for models that are efficient, accessible, and locally relevant, even amidst significant computing and data constraints. This paper introduces InkubaLM, a small language model with 0.4 billion parameters, which achieves performance comparable to models with significantly larger parameter counts and more extensive training data on tasks such as machine translation, question-answering, AfriMMLU, and the AfriXnli task. Notably, InkubaLM outperforms many larger models in sentiment analysis and demonstrates remarkable consistency across multiple languages. This work represents a pivotal advancement in challenging the conventional paradigm that effective language models must rely on substantial resources. Our model and datasets are publicly available at https://huggingface.co/lelapa to encourage research and development on low-resource languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL