Bridging the Gap between Decision and Logits in Decision-based Knowledge Distillation for Pre-trained Language Models

要約

従来の知識蒸留（KD）方法では、教師の内部情報（ロジットなど）へのアクセスが必要です。
ただし、大規模な事前トレーニング済み言語モデル (PLM) では、そのような情報に常にアクセスできるとは限りません。
この作業では、教師の決定 (つまり、上位 1 ラベル) のみがアクセスできる、PLM の意思決定ベースの KD に焦点を当てています。
ロジットと意思決定の間の情報ギャップを考慮して、意思決定分布からロジットを推定する新しい方法を提案します。
具体的には、決定分布は論理的にロジットの関数として導出することができ、またテスト時のデータ拡張により経験的に推定することもできます。
決定分布の理論的推定と経験的推定を組み合わせることで、ロジットの推定を単純な根探索問題にうまく減らすことができます。
広範な実験により、私たちの方法が自然言語理解と機械読解データセットの両方で強力なベースラインを大幅に上回ることが示されました。

要約(オリジナル)

Conventional knowledge distillation (KD) methods require access to the internal information of teachers, e.g., logits. However, such information may not always be accessible for large pre-trained language models (PLMs). In this work, we focus on decision-based KD for PLMs, where only teacher decisions (i.e., top-1 labels) are accessible. Considering the information gap between logits and decisions, we propose a novel method to estimate logits from the decision distributions. Specifically, decision distributions can be both derived as a function of logits theoretically and estimated with test-time data augmentation empirically. By combining the theoretical and empirical estimations of the decision distributions together, the estimation of logits can be successfully reduced to a simple root-finding problem. Extensive experiments show that our method significantly outperforms strong baselines on both natural language understanding and machine reading comprehension datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google