YuLan: An Open-source Large Language Model

要約

大規模言語モデル (LLM) は、自然言語の処理と理解における広範な機能を活用して、多くのアプリケーションの基盤となっています。
多くのオープンソース LLM が技術レポートとともにリリースされていますが、トレーニングの詳細が欠如しているため、さらなる研究開発が妨げられています。
このペーパーでは、120 億ドルのパラメータを備えた一連のオープンソース LLM である YuLan の開発について説明します。
YuLan の基本モデルは、大量の英語、中国語、多言語テキストを含む多様なコーパスから派生した約 $1.7$T のトークンで事前トレーニングされています。
YuLan の全体的な能力を強化するために、3 段階の事前トレーニング方法を設計しました。
トレーニングのその後の段階では、大量の高品質の合成データを使用して、命令の調整と人間の調整が組み込まれます。
複雑でロングテールの知識の学習を促進するために、これらの段階全体にわたってカリキュラム学習フレームワークを考案し、LLM が簡単から難しい方法で知識を学習できるようにします。
YuLan のトレーニングは 2024 年 1 月に終了し、英語と中国語のさまざまなベンチマークにわたって最先端の LLM と同等のパフォーマンスを達成しました。
このペーパーでは、LLM をゼロから開発するための包括的な技術ロードマップの概要を説明します。
私たちのモデルとコードは https://github.com/RUC-GSAI/YuLan-Chat で入手できます。

要約(オリジナル)

Large language models (LLMs) have become the foundation of many applications, leveraging their extensive capabilities in processing and understanding natural language. While many open-source LLMs have been released with technical reports, the lack of training details hinders further research and development. This paper presents the development of YuLan, a series of open-source LLMs with $12$ billion parameters. The base model of YuLan is pre-trained on approximately $1.7$T tokens derived from a diverse corpus, including massive English, Chinese, and multilingual texts. We design a three-stage pre-training method to enhance YuLan’s overall capabilities. Subsequent phases of training incorporate instruction-tuning and human alignment, employing a substantial volume of high-quality synthesized data. To facilitate the learning of complex and long-tail knowledge, we devise a curriculum-learning framework throughout across these stages, which helps LLMs learn knowledge in an easy-to-hard manner. YuLan’s training is finished on Jan, 2024 and has achieved performance on par with state-of-the-art LLMs across various English and Chinese benchmarks. This paper outlines a comprehensive technical roadmap for developing LLMs from scratch. Our model and codes are available at https://github.com/RUC-GSAI/YuLan-Chat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google