Instruction Tuning with Human Curriculum

要約

この研究では、(1) カリキュラム指導チューニングを紹介し、(2) 多様なカリキュラム戦略を採用することの潜在的な利点を探り、(3) 私たちの理論的アプローチを補完する総合的な指導と応答の生成フレームワークを概説します。
既存の命令調整データセットとは異なり、私たちの生成パイプラインは、人間の学習の逐次的かつ秩序立った特性をエミュレートするように体系的に構造化されています。
さらに、教育科目カタログを利用して、中学校から大学院レベルまでの人間の教育のさまざまな段階に広範囲にわたる指示と応答のデータセットを生成する方法論について説明します。
トレーニング前に、(A) 主題および (B) 指示の複雑さに関する質問が難しくなるように、指示データを注意深く整理します。
私たちの研究結果は、カリキュラムの順序付けを指導データに適用するだけで、パフォーマンスの大幅な向上が達成できることを明らかにしています (TruthfulQA で +4.76、MMLU で +2.98、OpenbookQA で +2.8、ARC-hard で +1.28 の向上を達成)
) ランダムシャッフルと比較。
この機能強化は、追加の計算コストを発生させることなく実現されます。
包括的な実験を通じて、提案した手法の利点が 9 つのベンチマークにわたって一貫して明らかであることがわかりました。

要約(オリジナル)

In this work, we (1) introduce Curriculum Instruction Tuning, (2) explore the potential advantages of employing diverse curriculum strategies, and (3) delineate a synthetic instruction-response generation framework that complements our theoretical approach. Distinct from the existing instruction tuning dataset, our generation pipeline is systematically structured to emulate the sequential and orderly characteristic of human learning. Additionally, we describe a methodology for generating instruction-response datasets that extensively span the various stages of human education, from middle school through the graduate level, utilizing educational subject catalogs. Before training, we meticulously organize the instruction data to ensure that questions escalate in difficulty regarding (A) the subject matter and (B) the intricacy of the instructions. The findings of our study reveal that substantial improvements in performance can be achieved through the mere application of curriculum ordering to instruction data (achieving gains of +4.76 on TruthfulQA, +2.98 on MMLU, +2.8 on OpenbookQA, and +1.28 on ARC-hard) compared to random shuffling. This enhancement is achieved without incurring additional computational expenses. Through comprehensive experimentation, we observe that the advantages of our proposed method are consistently evident across nine benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google