DistilQwen2.5: Industrial Practices of Training Distilled Open Lightweight Language Models

要約

大規模な言語モデル（LLM）の計算効率を高め、展開コストを削減することは、さまざまなリソース制約のシナリオで重要な課題になりました。
この作業では、パブリックQWEN2.5モデルから派生した蒸留された軽量LLMのファミリーであるDistilQwen2.5を提示します。
これらの蒸留モデルは、はるかに大きなLLMSからの知識を組み込んだ一連の蒸留技術に基づいて、元のモデルと比較して、指導中の能力が強化されています。
産業慣行では、マルチエージェントの教師としてさまざまな能力を備えた強力な独自のLLMを、学生LLMが学習するのに適した指導応答ペアを選択、書き直し、洗練するための強力な独自のLLMを活用します。
標準的な微調整の後、学生モデルが微調整された隠された知識を教師から徐々に統合できるようにする計算効率の良いモデル融合アプローチをさらに活用します。
実験的評価は、蒸留モデルが元のチェックポイントよりも大幅に強力な能力を持っていることを示しています。
さらに、実際のシナリオでフレームワークのアプリケーションを説明するためのユースケースを提示します。
実用的な使用を促進するために、すべてのDistilqwen2.5モデルをオープンソースコミュニティにリリースしました。

要約(オリジナル)

Enhancing computational efficiency and reducing deployment costs for large language models (LLMs) have become critical challenges in various resource-constrained scenarios. In this work, we present DistilQwen2.5, a family of distilled, lightweight LLMs derived from the public Qwen2.5 models. These distilled models exhibit enhanced instruction-following capabilities compared to the original models based on a series of distillation techniques that incorporate knowledge from much larger LLMs. In our industrial practice, we first leverage powerful proprietary LLMs with varying capacities as multi-agent teachers to select, rewrite, and refine instruction-response pairs that are more suitable for student LLMs to learn. After standard fine-tuning, we further leverage a computationally efficient model fusion approach that enables student models to progressively integrate fine-grained hidden knowledge from their teachers. Experimental evaluations demonstrate that the distilled models possess significantly stronger capabilities than their original checkpoints. Additionally, we present use cases to illustrate the applications of our framework in real-world scenarios. To facilitate practical use, we have released all the DistilQwen2.5 models to the open-source community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google