A Survey on Knowledge Distillation of Large Language Models

要約

大規模言語モデル (LLM) の時代には、知識蒸留 (KD) が、GPT-4 などの主要な独自の LLM から、LLaMA や Mistral などのオープンソースの対応物に高度な機能を転送するための極めて重要な方法論として浮上します。
さらに、オープンソース LLM が繁栄するにつれて、KD はこれらのモデルを圧縮することと、教師として雇用することで自己改善を促進することの両方において重要な役割を果たします。
この論文は、LLM の領域内での KD の役割の包括的な調査を示し、より小さなモデルに高度な知識を与える際のその重要な機能と、モデルの圧縮と自己改善におけるその有用性を強調します。
私たちの調査は、\textit{アルゴリズム}、\textit{スキル}、\textit{垂直化}という 3 つの基礎的な柱を中心に細心の注意を払って構成されており、KD メカニズム、特定の認知能力の強化、およびそれらの全体的な実践的な影響についての包括的な調査を提供します。
多様な分野。
重要なのは、この調査がデータ拡張 (DA) と KD の間の複雑な相互作用をナビゲートし、LLM のパフォーマンスを強化するための KD フレームワーク内で DA がどのように強力なパラダイムとして浮上するかを示していることです。
DA を活用してコンテキスト豊富なスキル固有のトレーニング データを生成することで、KD は従来の境界を超え、オープンソース モデルが独自のモデルに特徴的なコンテキストの熟練度、倫理的整合性、および深い意味論的洞察を近似できるようにします。
この研究は、KD における現在の方法論の詳細な概要を提供し、将来の研究の方向性を提案する、研究者と実践者に洞察力に富んだガイドを提供することを目的としています。
重要なのは、LLM の使用を規制する法的条件の遵守を強く主張し、LLM の KD の倫理的かつ合法的な適用を確保することです。
関連する Github リポジトリは、https://github.com/Tebmer/Awesome-Knowledge-Distillation-of-LLMs で入手できます。

要約(オリジナル)

In the era of Large Language Models (LLMs), Knowledge Distillation (KD) emerges as a pivotal methodology for transferring advanced capabilities from leading proprietary LLMs, such as GPT-4, to their open-source counterparts like LLaMA and Mistral. Additionally, as open-source LLMs flourish, KD plays a crucial role in both compressing these models, and facilitating their self-improvement by employing themselves as teachers. This paper presents a comprehensive survey of KD’s role within the realm of LLM, highlighting its critical function in imparting advanced knowledge to smaller models and its utility in model compression and self-improvement. Our survey is meticulously structured around three foundational pillars: \textit{algorithm}, \textit{skill}, and \textit{verticalization} — providing a comprehensive examination of KD mechanisms, the enhancement of specific cognitive abilities, and their practical implications across diverse fields. Crucially, the survey navigates the intricate interplay between data augmentation (DA) and KD, illustrating how DA emerges as a powerful paradigm within the KD framework to bolster LLMs’ performance. By leveraging DA to generate context-rich, skill-specific training data, KD transcends traditional boundaries, enabling open-source models to approximate the contextual adeptness, ethical alignment, and deep semantic insights characteristic of their proprietary counterparts. This work aims to provide an insightful guide for researchers and practitioners, offering a detailed overview of current methodologies in KD and proposing future research directions. Importantly, we firmly advocate for compliance with the legal terms that regulate the use of LLMs, ensuring ethical and lawful application of KD of LLMs. An associated Github repository is available at https://github.com/Tebmer/Awesome-Knowledge-Distillation-of-LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google