Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models

要約

Jais と Jais-chat、新しい最先端のアラビア語中心の基盤、および命令調整されたオープン大規模生成言語モデル (LLM) を紹介します。
モデルは GPT-3 デコーダのみのアーキテクチャに基づいており、さまざまなプログラミング言語のソース コードを含む、アラビア語と英語の混合テキストで事前トレーニングされています。
広範な評価に基づいて、130 億のパラメータを備えたこれらのモデルは、既存のオープンなアラビア語および多言語モデルよりも大幅に優れたアラビア語の知識と推論能力を実証します。
さらに、このモデルは、はるかに少ない英語データでトレーニングされているにもかかわらず、同様のサイズの英語中心のオープン モデルと比較して、英語での競争力があります。
トレーニング、調整、安全調整、モデルの評価について詳しく説明します。
私たちは、アラビア語 LLM の研究を促進することを目的として、このモデルの 2 つのオープン バージョン (基礎 Jais モデルと命令調整された Jais-chat バリアント) をリリースします。
https://huggingface.co/inception-mbzuai/jais-13b-chat で利用可能

要約(オリジナル)

We introduce Jais and Jais-chat, new state-of-the-art Arabic-centric foundation and instruction-tuned open generative large language models (LLMs). The models are based on the GPT-3 decoder-only architecture and are pretrained on a mixture of Arabic and English texts, including source code in various programming languages. With 13 billion parameters, they demonstrate better knowledge and reasoning capabilities in Arabic than any existing open Arabic and multilingual models by a sizable margin, based on extensive evaluation. Moreover, the models are competitive in English compared to English-centric open models of similar size, despite being trained on much less English data. We provide a detailed description of the training, the tuning, the safety alignment, and the evaluation of the models. We release two open versions of the model — the foundation Jais model, and an instruction-tuned Jais-chat variant — with the aim of promoting research on Arabic LLMs. Available at https://huggingface.co/inception-mbzuai/jais-13b-chat

arxiv情報

提供元, 利用サービス

arxiv.jp, Google