InkubaLM: A small language model for low-resource African languages

要約

アフリカの状況では、高リソースの言語モデルでは不十分なことがよくあります。アフリカでは、コンピューティングとデータに大きな制約がある中でも、効率的でアクセスしやすく、地域に関連したモデルが非常に必要とされています。
この論文では、4 億個のパラメーターを持つ小規模な言語モデルである InkubaLM を紹介します。これは、機械翻訳、質問応答、AfriMMLU、AfriXnli タスクなどのタスクにおいて、パラメーター数が大幅に多く、より広範なトレーニング データを持つモデルに匹敵するパフォーマンスを実現します。
特に、InkubaLM はセンチメント分析において多くの大規模モデルよりも優れたパフォーマンスを示し、複数の言語にわたって驚くべき一貫性を示しています。
この研究は、効果的な言語モデルは相当なリソースに依存する必要があるという従来のパラダイムに挑戦する上で極めて重要な進歩を表しています。
私たちのモデルとデータセットは、低リソース言語の研究開発を促進するために \footnote{\url{https://huggingface.co/lelapa}} として公開されています。

要約(オリジナル)

High-resource language models often fall short in the African context, where there is a critical need for models that are efficient, accessible, and locally relevant, even amidst significant computing and data constraints. This paper introduces InkubaLM, a small language model with 0.4 billion parameters, which achieves performance comparable to models with significantly larger parameter counts and more extensive training data on tasks such as machine translation, question-answering, AfriMMLU, and the AfriXnli task. Notably, InkubaLM outperforms many larger models in sentiment analysis and demonstrates remarkable consistency across multiple languages. This work represents a pivotal advancement in challenging the conventional paradigm that effective language models must rely on substantial resources. Our model and datasets are publicly available \footnote{\url{https://huggingface.co/lelapa}} to encourage research and development on low-resource languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google