CroissantLLM: A Truly Bilingual French-English Language Model

要約

私たちは、3T 英語とフランス語のトークンのセットで事前トレーニングされた 1.3B 言語モデルである CroissantLLM を導入し、消費者グレードのローカル ハードウェアで迅速に実行される高性能で完全にオープンソースのバイリンガル モデルを研究および産業コミュニティに提供します。
そのために、私たちは 1:1 の英語とフランス語の事前トレーニング データ比、カスタム トークナイザー、およびバイリンガル微調整データセットを使用して本質的にバイリンガル モデルをトレーニングするアプローチを先駆けて開発しました。
トレーニング データセットをリリースします。これには、特に手動で厳選された高品質で多様なデータ ソースを含むフランスの分割が含まれます。
英語以外のパフォーマンスを評価するために、フランス語におけるモデル パフォーマンスのさまざまな直交する側面をカバーする、一連の分類および生成タスクで構成される新しいベンチマーク FrenchBench を作成しました。
さらに、透明性に根ざし、大規模言語モデルの研究をさらに促進するために、さまざまなモデル サイズにわたるコードベース、数十のチェックポイント、トレーニング データの分布、トレーニング ステップ、さらには微調整されたチャット モデル、強力な翻訳モデルをリリースします。
私たちは FMTI フレームワークを通じてモデルを評価し、透明性基準の 81 % を検証しました。これは、最もオープンな取り組みのスコアをはるかに上回ります。
この研究は、言語モデルにおける多言語性についての理解を強化するために、これまでの英語中心の研究から脱却し、NLP の状況を豊かなものにします。

要約(オリジナル)

We introduce CroissantLLM, a 1.3B language model pretrained on a set of 3T English and French tokens, to bring to the research and industrial community a high-performance, fully open-sourced bilingual model that runs swiftly on consumer-grade local hardware. To that end, we pioneer the approach of training an intrinsically bilingual model with a 1:1 English-to-French pretraining data ratio, a custom tokenizer, and bilingual finetuning datasets. We release the training dataset, notably containing a French split with manually curated, high-quality, and varied data sources. To assess performance outside of English, we craft a novel benchmark, FrenchBench, consisting of an array of classification and generation tasks, covering various orthogonal aspects of model performance in the French Language. Additionally, rooted in transparency and to foster further Large Language Model research, we release codebases, and dozens of checkpoints across various model sizes, training data distributions, and training steps, as well as fine-tuned Chat models, and strong translation models. We evaluate our model through the FMTI framework, and validate 81 % of the transparency criteria, far beyond the scores of even most open initiatives. This work enriches the NLP landscape, breaking away from previous English-centric work in order to strengthen our understanding of multilinguality in language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google