Krikri: Advancing Open Large Language Models for Greek

要約

メタのラマ3.1-8Bに基づいて構築されたギリシャ語に合わせた最先端の大きな言語モデルであるLlama-Krikri-8Bを紹介します。
Llama-Krikri-8Bは、言語的ニュアンスへの優れた適応を確保するために、高品質のギリシャのデータについて広範囲に訓練されています。
80億のパラメーターを備えたパラメーターは、効率的な計算パフォーマンスを維持しながら、高度な機能を提供します。
Llama-Krikri-8Bは、現代のギリシャ語と英語の両方をサポートしており、ポリトンのテキストと古代ギリシャ語を処理するためにも装備されています。
Llama-Krikri-8Bのチャットバージョンは、Magpieなどの技術を適用することにより、人間と合成の両方の指導と優先データを利用して、マルチステージ後のトレーニング後のパイプラインを備えています。
さらに、評価のために、ギリシャ語の3つの新しいパブリックベンチマークを提案します。
既存および提案されたベンチマークに関する当社の評価は、自然言語の理解と生成、コード生成の両方において、同等のギリシャ語および多言語LLMよりも顕著な改善を示しています。

要約(オリジナル)

We introduce Llama-Krikri-8B, a cutting-edge Large Language Model tailored for the Greek language, built on Meta’s Llama 3.1-8B. Llama-Krikri-8B has been extensively trained on high-quality Greek data to ensure superior adaptation to linguistic nuances. With 8 billion parameters, it offers advanced capabilities while maintaining efficient computational performance. Llama-Krikri-8B supports both Modern Greek and English, and is also equipped to handle polytonic text and Ancient Greek. The chat version of Llama-Krikri-8B features a multi-stage post-training pipeline, utilizing both human and synthetic instruction and preference data, by applying techniques such as MAGPIE. In addition, for evaluation, we propose three novel public benchmarks for Greek. Our evaluation on existing as well as the proposed benchmarks shows notable improvements over comparable Greek and multilingual LLMs in both natural language understanding and generation as well as code generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google