Aurora:Activating Chinese chat capability for Mixtral-8x7B sparse Mixture-of-Experts through Instruction-Tuning

要約

既存の研究では、機械が生成した命令に従うデータを利用して大規模言語モデル (LLM) を改良することで、人間が作成した命令を必要とせずに、これらのモデルが新しいタスクに対して優れたゼロショット機能を発揮できるようになることを実証しています。
この論文では、Mixtral-8x7B の疎な専門家混合モデルの中国語会話機能を強化することを目的として、3 つの中国語の命令に従うデータセットを体系的に調査、前処理、統合します。
この慎重に処理されたデータセットに対する命令の微調整を通じて、「Aurora」という名前の Mixtral-8x7B の疎な専門家混合モデルの構築に成功しました。
Aurora のパフォーマンスを評価するために、C-Eval、MMLU、CMMLU という広く認識されている 3 つのベンチマーク テストを利用します。
実証研究により、Mixtral-8x7B の疎な専門家混合モデルに適用された命令の微調整の有効性が検証されています。
この研究は、疎エキスパート混合モデルでの命令の微調整の実行における先駆者であり、このモデル アーキテクチャの機能を強化する上で重要な進歩を示しています。
私たちのコード、データ、モデルは https://github.com/WangRongsheng/Au​​rora で公開されています。

要約(オリジナル)

Existing research has demonstrated that refining large language models (LLMs) through the utilization of machine-generated instruction-following data empowers these models to exhibit impressive zero-shot capabilities for novel tasks, without requiring human-authored instructions. In this paper, we systematically investigate, preprocess, and integrate three Chinese instruction-following datasets with the aim of enhancing the Chinese conversational capabilities of Mixtral-8x7B sparse Mixture-of-Experts model. Through instruction fine-tuning on this carefully processed dataset, we successfully construct the Mixtral-8x7B sparse Mixture-of-Experts model named ‘Aurora.’ To assess the performance of Aurora, we utilize three widely recognized benchmark tests: C-Eval, MMLU, and CMMLU. Empirical studies validate the effectiveness of instruction fine-tuning applied to Mixtral-8x7B sparse Mixture-of-Experts model. This work is pioneering in the execution of instruction fine-tuning on a sparse expert-mixed model, marking a significant breakthrough in enhancing the capabilities of this model architecture. Our code, data and model are publicly available at https://github.com/WangRongsheng/Aurora

arxiv情報

提供元, 利用サービス

arxiv.jp, Google