OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch

要約

数十億のパラメータを持つ大規模言語モデル (LLM) は、さまざまな自然言語処理タスクで優れたパフォーマンスを実証しています。
このレポートでは、中国語指向のオープンソース モデル コミュニティに LLM バリアントを提供する、オープンソースの 15B バイリンガル非対称 seq2seq モデルである OpenBA を紹介します。
私たちは効果的かつ効率的な手法で OpenBA を強化し、モデルをゼロからトレーニングするための 3 段階のトレーニング戦略を採用しています。
また、当社のソリューションは、わずか 380B トークンで非常に競争力のあるパフォーマンスを達成できます。これは、BELEBELE ベンチマークの LLaMA-70B、MMLU ベンチマークの BLOOM-176B、C-Eval (ハード) ベンチマークの GLM-130B よりも優れています。
このレポートでは、事前トレーニング データ処理、バイリンガル Flan データ収集、モデル アーキテクチャ設計のインスピレーションとなる経験的観察、さまざまな段階のトレーニング目標、その他の強化手法など、類似モデルを事前トレーニングするための主な詳細を提供します。
Huggingface Transformers Library の設計原則に従うようにコードをリファクタリングして、開発者がより使いやすくし、さまざまなトレーニング ステージのチェックポイントを https://huggingface.co/openBA でリリースしました。
プロジェクトの詳細については、https://github.com/OpenNLG/openBA.git をご覧ください。

要約(オリジナル)

Large language models (LLMs) with billions of parameters have demonstrated outstanding performance on various natural language processing tasks. This report presents OpenBA, an open-sourced 15B bilingual asymmetric seq2seq model, to contribute an LLM variant to the Chinese-oriented open-source model community. We enhance OpenBA with effective and efficient techniques as well as adopt a three-stage training strategy to train the model from scratch. Our solution can also achieve very competitive performance with only 380B tokens, which is better than LLaMA-70B on the BELEBELE benchmark, BLOOM-176B on the MMLU benchmark, GLM-130B on the C-Eval (hard) benchmark. This report provides the main details to pre-train an analogous model, including pre-training data processing, Bilingual Flan data collection, the empirical observations that inspire our model architecture design, training objectives of different stages, and other enhancement techniques. We have refactored our code to follow the design principles of the Huggingface Transformers Library, making it more convenient for developers to use, and released checkpoints of different training stages at https://huggingface.co/openBA. More details of our project are available at https://github.com/OpenNLG/openBA.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google