Meltemi: The first open Large Language Model for Greek

要約

ギリシャ語用の最初のオープンな大規模言語モデルである Meltemi 7B の開発と機能について説明します。
Meltemi 7B には 70 億のパラメータがあり、400 億トークンのギリシャ語コーパスでトレーニングされています。
Meltemi 7B の開発では、ギリシャ語コーパスでの継続的な事前トレーニングによって Mistral を適応させます。
Meltemi 7B には、2023 年 9 月までの最新情報が含まれています。さらに、チャット モデルの命令チューニングに使用されている Meltemi 7B Instruct というギリシャ語の命令コーパスを翻訳して厳選しました。
Meltemi 7B 命令の位置合わせと有毒成分の除去には特別な注意が払われています。
開発されたモデルは、収集された広範な評価コーパスに基づいて評価され、プロンプトと応答の例が示されます。
Meltemi 7B と Meltemi 7B Instruct はどちらも、Apache 2.0 ライセンスに基づいて https://huggingface.co/ilsp から入手できます。

要約(オリジナル)

We describe the development and capabilities of Meltemi 7B, the first open Large Language Model for the Greek language. Meltemi 7B has 7 billion parameters and is trained on a 40 billion token Greek corpus. For the development of Meltemi 7B, we adapt Mistral, by continuous pretraining on the Greek Corpus. Meltemi 7B contains up-to-date information up to September 2023. Furthermore, we have translated and curated a Greek instruction corpus, which has been used for the instruction-tuning of a chat model, named Meltemi 7B Instruct. Special care has been given to the alignment and the removal of toxic content for the Meltemi 7B Instruct. The developed models are evaluated on a broad set of collected evaluation corpora, and examples of prompts and responses are presented. Both Meltemi 7B and Meltemi 7B Instruct are available at https://huggingface.co/ilsp under the Apache 2.0 license.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google