A Survey on Knowledge Distillation of Large Language Models

要約

この調査は、大規模言語モデル (LLM) の領域内の知識蒸留 (KD) 技術の徹底的な調査を示し、GPT-4 などのプロプライエタリな巨人からアクセス可能なオープンソースに洗練された機能を移行する際の KD の極めて重要な役割に焦点を当てています。
LLaMAやMistralなどのモデル。
AI の状況が進化する中、この研究はプロプライエタリな LLM とオープンソースの LLM の間の重大な相違を解明し、KD が前者の高度な機能と微妙な理解を後者に浸透させるための重要なパイプとしてどのように機能するかを示しています。
私たちの調査は、アルゴリズム、スキル、垂直化という 3 つの基本的な柱を中心に細心の注意を払って構成されており、KD メカニズム、特定の認知能力の強化、および多様な分野にわたるそれらの実践的な影響についての包括的な調査を提供します。
重要なのは、この調査がデータ拡張 (DA) と KD の間の複雑な相互作用をナビゲートし、LLM のパフォーマンスを強化するための KD フレームワーク内で DA がどのように強力なパラダイムとして浮上するかを示していることです。
DA を活用してコンテキスト豊富なスキル固有のトレーニング データを生成することで、KD は従来の境界を超え、オープンソース モデルが独自のモデルに特徴的なコンテキストの熟練度、倫理的整合性、および深い意味論的洞察を近似できるようにします。
この研究は、知識蒸留における現在の方法論の詳細な概要を提供し、将来の研究の方向性を提案する、研究者と実践者に洞察力に富んだガイドを提供することを目的としています。
この調査は、プロプライエタリな LLM とオープンソースの LLM の間のギャップを埋めることにより、よりアクセスしやすく、効率的で持続可能な AI ソリューションの可能性を強調し、AI の進歩におけるより包括的で公平な状況を促進します。
関連する Github リポジトリは、https://github.com/Tebmer/Awesome-Knowledge-Distillation-of-LLMs で入手できます。

要約(オリジナル)

This survey presents an in-depth exploration of knowledge distillation (KD) techniques within the realm of Large Language Models (LLMs), spotlighting the pivotal role of KD in transferring sophisticated capabilities from proprietary giants such as GPT-4 to accessible, open-source models like LLaMA and Mistral. Amidst the evolving AI landscape, this work elucidates the critical disparities between proprietary and open-source LLMs, demonstrating how KD serves as an essential conduit for imbuing the latter with the former’s advanced functionalities and nuanced understandings. Our survey is meticulously structured around three foundational pillars: algorithm, skill, and verticalization — providing a comprehensive examination of KD mechanisms, the enhancement of specific cognitive abilities, and their practical implications across diverse fields. Crucially, the survey navigates the intricate interplay between data augmentation (DA) and KD, illustrating how DA emerges as a powerful paradigm within the KD framework to bolster LLMs’ performance. By leveraging DA to generate context-rich, skill-specific training data, KD transcends traditional boundaries, enabling open-source models to approximate the contextual adeptness, ethical alignment, and deep semantic insights characteristic of their proprietary counterparts. This work aims to provide an insightful guide for researchers and practitioners, offering a detailed overview of current methodologies in knowledge distillation and proposing future research directions. By bridging the gap between proprietary and open-source LLMs, this survey underscores the potential for more accessible, efficient, and sustainable AI solutions, fostering a more inclusive and equitable landscape in AI advancements. An associated Github repository is available at https://github.com/Tebmer/Awesome-Knowledge-Distillation-of-LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google