Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for Language Models

要約

大規模言語モデル (LLM) の命令チューニングのための一般的でスケーラブルな方法である、一般化命令チューニング (GLAN と呼ばれます) を紹介します。
シード例や既存のデータセットに依存して命令調整データを構築するこれまでの研究とは異なり、GLAN は人間の知識と能力の事前にキュレーションされた分類法を入力として独占的に利用し、すべての分野にわたる大規模な合成命令データを生成します。
具体的には、人間の教育システムの体系的な構造に触発され、LLM によって促進され、人間の知識と能力をさまざまな分野、下位分野、そして最終的には個別の分野に半自動的に分解することで分類法を構築します。
その後、すべての分野の科目の包括的なリストを作成し、再び LLM を利用して、各科目に合わせたシラバスの設計を進めます。
シラバスのすべての授業セッションで詳細に説明されているきめ細かい主要な概念により、人間の知識とスキルの全範囲を幅広くカバーする多様な指示を生成することができます。
大規模な言語モデル (Mistral など) での広範な実験により、GLAN が、数学的推論、コーディング、学術試験、論理的推論から、これらのタスクのタスク固有のトレーニング データを使用せずに続く一般的な指導に至るまで、多次元で優れていることが実証されました。
さらに、GLAN ではカスタマイズが容易で、新しいノードを分類に組み込むだけで新しいフィールドやスキルを追加できます。

要約(オリジナル)

We introduce Generalized Instruction Tuning (called GLAN), a general and scalable method for instruction tuning of Large Language Models (LLMs). Unlike prior work that relies on seed examples or existing datasets to construct instruction tuning data, GLAN exclusively utilizes a pre-curated taxonomy of human knowledge and capabilities as input and generates large-scale synthetic instruction data across all disciplines. Specifically, inspired by the systematic structure in human education system, we build the taxonomy by decomposing human knowledge and capabilities to various fields, sub-fields and ultimately, distinct disciplines semi-automatically, facilitated by LLMs. Subsequently, we generate a comprehensive list of subjects for every discipline and proceed to design a syllabus tailored to each subject, again utilizing LLMs. With the fine-grained key concepts detailed in every class session of the syllabus, we are able to generate diverse instructions with a broad coverage across the entire spectrum of human knowledge and skills. Extensive experiments on large language models (e.g., Mistral) demonstrate that GLAN excels in multiple dimensions from mathematical reasoning, coding, academic exams, logical reasoning to general instruction following without using task-specific training data of these tasks. In addition, GLAN allows for easy customization and new fields or skills can be added by simply incorporating a new node into our taxonomy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google