What is Lost in Knowledge Distillation?

要約

ディープ ニューラル ネットワーク (DNN) は NLP タスクを大幅に改善しましたが、そのようなネットワークのトレーニングと維持にはコストがかかる可能性があります。
この問題に対処するために、知識蒸留 (KD) などのモデル圧縮技術が提案されています。
ただし、圧縮プロセスでは損失が発生する可能性があります。
これを動機として、私たちの研究では、蒸留された生徒モデルがその教師とどのように異なるか、蒸留プロセスによって情報の損失が発生するかどうか、その損失が特定のパターンに従っているかどうかを調査します。
私たちの実験は、レイヤーの数やアテンションヘッドなどのさまざまな要因の寄与に関するデータポイントを報告することで、KD の影響を受けやすいタスクの種類を明らかにすることを目的としています。
私たちのような結果は、大規模 (教師) モデルと小規模 (生徒) モデルの間で最適な情報転送を実現するための効果的かつ効率的な構成を決定する際に利用できます。

要約(オリジナル)

Deep neural networks (DNNs) have improved NLP tasks significantly, but training and maintaining such networks could be costly. Model compression techniques, such as, knowledge distillation (KD), have been proposed to address the issue; however, the compression process could be lossy. Motivated by this, our work investigates how a distilled student model differs from its teacher, if the distillation process causes any information losses, and if the loss follows a specific pattern. Our experiments aim to shed light on the type of tasks might be less or more sensitive to KD by reporting data points on the contribution of different factors, such as the number of layers or attention heads. Results such as ours could be utilized when determining effective and efficient configurations to achieve optimal information transfers between larger (teacher) and smaller (student) models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google