TinyLLM: Learning a Small Student from Multiple Large Language Models

要約

小規模な LLM はより柔軟に、より少ない費用で導入できるため、推論機能を強力な大規模言語モデル (LLM) から小規模な LLM に移行することは、非常に魅力的です。
既存のソリューションの中でも、知識の蒸留はその優れた効率性と汎用性により際立っています。
しかし、既存の方法には、知識の多様性が限られていることや豊富なコンテキスト情報が欠如していることなど、いくつかの欠点があります。
問題を解決し、コンパクトな言語モデルの学習を促進するために、複数の大規模な教師 LLM から小規模な学生 LLM を学習するための新しい知識蒸留パラダイムである TinyLLM を提案します。
特に、学生 LLM には、正しい答えを生成するだけでなく、その答えの背後にある理論的根拠を理解することをお勧めします。
さまざまな LLM が多様な推論スキルを持っていることを考慮して、さまざまな教師 LLM からの知識を吸収するように学生モデルを導きます。
さらに、文脈内サンプルジェネレーターと教師に強制する思考連鎖戦略を導入して、理論的根拠が正確であり、文脈上適切なシナリオに基づいていることを確認します。
2 つの推論タスクにわたる 6 つのデータセットに対する広範な実験により、私たちの方法の優位性が実証されました。
結果は、モデル サイズがかなり小さいにもかかわらず、TinyLLM が大規模な教師 LLM よりも大幅に優れたパフォーマンスを発揮できることを示しています。

要約(オリジナル)

Transferring the reasoning capability from stronger large language models (LLMs) to smaller ones has been quite appealing, as smaller LLMs are more flexible to deploy with less expense. Among the existing solutions, knowledge distillation stands out due to its outstanding efficiency and generalization. However, existing methods suffer from several drawbacks, including limited knowledge diversity and the lack of rich contextual information. To solve the problems and facilitate the learning of compact language models, we propose TinyLLM, a new knowledge distillation paradigm to learn a small student LLM from multiple large teacher LLMs. In particular, we encourage the student LLM to not only generate the correct answers but also understand the rationales behind these answers. Given that different LLMs possess diverse reasoning skills, we guide the student model to assimilate knowledge from various teacher LLMs. We further introduce an in-context example generator and a teacher-forcing Chain-of-Thought strategy to ensure that the rationales are accurate and grounded in contextually appropriate scenarios. Extensive experiments on six datasets across two reasoning tasks demonstrate the superiority of our method. Results show that TinyLLM can outperform large teacher LLMs significantly, despite a considerably smaller model size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google