Understanding the Instruction Mixture for Large Language Model Fine-tuning

要約

大規模言語モデル (LLM) の命令を微調整すると、さまざまなアプリケーションのパフォーマンスが向上することが証明されていますが、命令データセットの混合が LLM に及ぼす影響は十分に調査されていません。
この研究では、命令を NLP ダウンストリーム タスク、コーディング、および一般的なチャットの 3 つの主なタイプに分類し、LLM に対するそれらの影響を調査します。
私たちの調査結果では、特定の種類の命令は特定の用途にはより有益である一方、他の側面には害を及ぼす可能性があることが明らかになり、モデルのパフォーマンスを最大化するには命令の組み合わせを綿密に設計することの重要性が強調されています。
この研究は、混合指導に光を当て、将来の研究への道を開きます。

要約(オリジナル)

While instructions fine-tuning of large language models (LLMs) has been proven to enhance performance across various applications, the influence of the instruction dataset mixture on LLMs has not been thoroughly explored. In this study, we classify instructions into three main types: NLP downstream tasks, coding, and general chatting, and investigate their impact on LLMs. Our findings reveal that specific types of instructions are more beneficial for particular uses, while it may cause harms to other aspects, emphasizing the importance of meticulously designing the instruction mixture to maximize model performance. This study sheds light on the instruction mixture and paves the way for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google