Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation

要約

タイトル：中国語における指示語に従う言語モデルの改善に向けて：トレーニングデータと評価の影響の調査

要約：
– パブリックな努力が広がり、ChatGPTに似た能力を持つ低コストのモデルの開発が進んでいます。しかし、これらのモデルのパフォーマンスの包括的および深い評価が不足しています。
– この研究では、トレーニングデータの量、質、言語分布といった要因がモデルの性能に与える影響を調べます。公開されているいくつかの高品質な指示語のデータセットと自社開発の中国語のマルチターン会話に基づいて分析を行います。
– 実世界の九つのシナリオをカバーする評価セットを使って、さまざまなモデルを評価します。手動評価に加えて定量的分析を提供し、オープンソースのチャットモデルの持続的な進歩に貢献する価値ある洞察を提供します。
– さらに、中国語のドメインでのモデルの性能とトレーニングおよび推論効率を向上させるために、 LLaMAの語彙を拡張し、3.4Bの中国語単語に対して二次プレトレーニングを実施します。
– モデル、データ、およびコードを公開します。

要約(オリジナル)

Recently, significant public efforts have been directed towards developing low-cost models with capabilities akin to ChatGPT, thereby fostering the growth of open-source conversational models. However, there remains a scarcity of comprehensive and in-depth evaluations of these models’ performance. In this study, we examine the influence of training data factors, including quantity, quality, and linguistic distribution, on model performance. Our analysis is grounded in several publicly accessible, high-quality instruction datasets, as well as our own Chinese multi-turn conversations. We assess various models using a evaluation set of 1,000 samples, encompassing nine real-world scenarios. Our goal is to supplement manual evaluations with quantitative analyses, offering valuable insights for the continued advancement of open-source chat models. Furthermore, to enhance the performance and training and inference efficiency of models in the Chinese domain, we extend the vocabulary of LLaMA – the model with the closest open-source performance to proprietary language models like GPT-3 – and conduct secondary pre-training on 3.4B Chinese words. We make our model, data, as well as code publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI