An Empirical Study of Instruction-tuning Large Language Models in Chinese

要約

ChatGPT の成功は、汎用人工知能 (AGI) における大規模言語モデル (LLM) の可能性を検証します。
その後、LLM のリリースにより、ChatGPT の複製プロセスが加速すると考えられる命令チューニングに対するオープンソース コミュニティの関心が高まりました。
ただし、世界で最も話されている言語である中国語での LLM の命令チューニングに関する研究はまだ初期段階にあります。
したがって、この論文では、中国語での命令チューニング LLM の詳細な実証研究を行います。これは、中国語の命令によりよく応答できる LLM を効果的にカスタマイズするための貴重な発見を提供するクックブックとして役立ちます。
具体的には、命令チューニングの 3 つの最も重要な要素である LLM ベース、パラメータ効率の高い手法、命令データ型の影響を体系的に調査します。
さらに、思考連鎖データや人間の価値観の一致など、他の要因の影響を研究するための実験も行っています。
私たちは、この実証研究が ChatGPT のオープン中国語版にささやかな貢献をできることを願っています。
この文書では、ChatGLM に匹敵する強力な中国語 LLM をリリースします。
コードとデータは https://github.com/PhoebusSi/Alpaca-CoT で入手できます。

要約(オリジナル)

The success of ChatGPT validates the potential of large language models (LLMs) in artificial general intelligence (AGI). Subsequently, the release of LLMs has sparked the open-source community’s interest in instruction-tuning, which is deemed to accelerate ChatGPT’s replication process. However, research on instruction-tuning LLMs in Chinese, the world’s most spoken language, is still in its early stages. Therefore, this paper makes an in-depth empirical study of instruction-tuning LLMs in Chinese, which can serve as a cookbook that provides valuable findings for effectively customizing LLMs that can better respond to Chinese instructions. Specifically, we systematically explore the impact of LLM bases, parameter-efficient methods, instruction data types, which are the three most important elements for instruction-tuning. Besides, we also conduct experiment to study the impact of other factors, e.g., chain-of-thought data and human-value alignment. We hope that this empirical study can make a modest contribution to the open Chinese version of ChatGPT. This paper will release a powerful Chinese LLMs that is comparable to ChatGLM. The code and data are available at https://github.com/PhoebusSi/Alpaca-CoT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google