Distillation Quantification for Large Language Models

要約

モデル蒸留は、知識を大規模な言語モデル（LLM）から小型のモデルに転送するための手法であり、リソース効率の高いが高性能モデルを作成することを目指しています。
ただし、過度の蒸留により、均質化、モデル間の多様性が低下し、複雑なタスクや新しいタスクを堅牢に処理する能力が損なわれます。
これらの制限は、蒸留プロセスとその影響を体系的に定量化する必要性を強調しています。
この作業では、モデルの蒸留を評価および定量化するフレームワークを提案します。
私たちの方法では、2つの重要な側面に対処します。（1）モデルがアイデンティティ関連の情報をどのように知覚および表現するかについての不一致を評価するためのアイデンティティ認知の矛盾を特定し、（2）モデル間の多粒度応答の類似性を分析して均質化の程度を測定します。
実験結果は、2つの重要な洞察を示しています。（1）よく知られているクローズドソースとオープンソースLLMは、通常、Claude、Doubao、およびGeminiを除き、高蒸留度を示します。
（2）塩基LLMは、整列したLLMと比較して蒸留度が高いことを示します。
LLMデータの蒸留の透明性を改善するための体系的なアプローチを提供することにより、LLMSの堅牢性と安全性を向上させるために、より独立した開発とより透明な技術レポートを備えたLLMを求めます。
コードとデータは、https：//github.com/aegis1863/llms-distilation-quantificationで入手できます。

要約(オリジナル)

Model distillation is a technique for transferring knowledge from large language models (LLMs) to smaller ones, aiming to create resource-efficient yet high-performing models. However, excessive distillation can lead to homogenization, reducing diversity among models and impairing their ability to robustly handle complex or novel tasks. These limitations underscore the need to systematically quantify the distillation process and its impact. In this work, we propose a framework to evaluate and quantify model distillation. Our method addresses two key aspects: (1) Identifying identity cognition contradictions to assess discrepancies in how models perceive and represent identity-related information, and (2) Analyzing multi-granularity response similarities across models to measure the extent of homogenization. Experimental results demonstrate two key insights: (1) Well-known closed-source and open-source LLMs usually exhibit high distillation degrees, except for Claude, Doubao, and Gemini. (2) Base LLMs show higher distillation degrees compared to aligned LLMs. By offering a systematic approach to improve the transparency of LLM data distillation, we call for LLMs with more independent development and more transparent technical reports to improve LLMs’ robustness and safety. The code and data are available under https://github.com/Aegis1863/LLMs-Distillation-Quantification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google