Panda LLM: Training Data and Evaluation for Open-Sourced Chinese Instruction-Following Large Language Models

要約

【タイトル】Panda LLM：オープンソースの中国語指示文に従う大規模言語モデルのトレーニングデータ及び評価

【要約】

– このプロジェクトは、指示調整を通じてオープンソースの大規模言語モデルを強化し、そのパフォーマンスの網羅的評価を提供することに焦点を当てています。
– 我々は、量、品質、言語的分布などの様々なトレーニングデータの要因が、英語と中国語の両方の言語の高品質な指示ラベルデータセットでトレーニングされた指示調整されたモデルのパフォーマンスにどのように影響するかについて探究しています。
– 当社の目標は、定量的な分析に基づく評価を補完し、オープンソースのチャットモデルの持続的な進歩に貢献するための貴重な知見を提供することです。
– 当社のモデル、データ、コードは、他者が利用し、拡張するために公開されています。

要約(オリジナル)

This project focuses on enhancing open-source large language models through instruction-tuning and providing comprehensive evaluations of their performance. We explore how various training data factors, such as quantity, quality, and linguistic distribution, influence the performance of instruction-tuned models trained on publicly accessible high-quality instruction datasets for both English and Chinese languages. Our goal is to supplement evaluation with quantitative analyses, providing valuable insights for the continued advancement of open-source chat models. Our model, data, and code are publicly available for others to use and build upon.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI