YAYI 2: Multilingual Open-Source Large Language Models

要約

自然言語処理の最新の進歩として、大規模言語モデル (LLM) は、現実世界の多くのタスクにおいて人間レベルの言語理解および生成能力を達成しており、汎用人工知能への潜在的な道筋とさえみなされています。
LLM の研究をより促進するために、Llama 2 や Falcon などの多くのオープンソース LLM が最近提案され、独自モデルと同等のパフォーマンスを獲得しました。
ただし、これらのモデルは主に英語のシナリオ向けに設計されており、中国語のコンテキストではパフォーマンスが低下します。
この技術レポートでは、ベース モデルとチャット モデルの両方を含む、300 億のパラメーターを備えた YAYI 2 を提案します。
YAYI 2 は、事前トレーニング データ処理パイプラインによってフィルタリングされた 2 兆 6500 億個のトークンを含む多言語コーパスで最初から事前トレーニングされています。
基本モデルは、数百万の命令による教師あり微調整と人間のフィードバックからの強化学習を通じて、人間の価値観に合わせて調整されています。
MMLU や CMMLU などの複数のベンチマークに関する広範な実験により、提案された YAYI 2 が他の同様のサイズのオープンソース モデルよりも優れていることが一貫して実証されています。

要約(オリジナル)

As the latest advancements in natural language processing, large language models (LLMs) have achieved human-level language understanding and generation abilities in many real-world tasks, and even have been regarded as a potential path to the artificial general intelligence. To better facilitate research on LLMs, many open-source LLMs, such as Llama 2 and Falcon, have recently been proposed and gained comparable performances to proprietary models. However, these models are primarily designed for English scenarios and exhibit poor performances in Chinese contexts. In this technical report, we propose YAYI 2, including both base and chat models, with 30 billion parameters. YAYI 2 is pre-trained from scratch on a multilingual corpus which contains 2.65 trillion tokens filtered by our pre-training data processing pipeline. The base model is aligned with human values through supervised fine-tuning with millions of instructions and reinforcement learning from human feedback. Extensive experiments on multiple benchmarks, such as MMLU and CMMLU, consistently demonstrate that the proposed YAYI 2 outperforms other similar sized open-source models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google