Co-training and Co-distillation for Quality Improvement and Compression of Language Models

要約

Knowledge Distillation (KD) は、計算コストのかかる事前トレーニング済み言語モデル (PLM) の知識をより小さなモデルに転送することで圧縮し、リソースに制約のある設定やリアルタイム設定での使用を可能にします。
ただし、ほとんどの小型モデルは元の大型モデルのパフォーマンスを超えることができず、推論速度を向上させるためにパフォーマンスが犠牲になります。
この問題に対処するために、我々は、相互に知識を抽出しながら 2 つのモデルを共トレーニングすることで、パフォーマンスと推論速度を同時に向上させる新しいフレームワークである Co-Training and Co-Distillation (CTCD) を提案します。
CTCD フレームワークは、次の 2 つの重要な発見に基づいてこれを成功裏に達成しています。1) 共同トレーニング中に小さなモデルから大きなモデルに知識を抽出することで、より大きなモデルのパフォーマンスが向上します。
2) 大型モデルの性能向上により、小型モデルの性能がさらに向上します。
CTCD フレームワークは、アーキテクチャ設計やデータ拡張などの既存の手法と組み合わせて、一方向の KD 手法を置き換えることができるため、さらなるパフォーマンスの向上が期待できます。
広範なアブレーション研究により CTCD の有効性が実証されており、CTCD によって抽出された小型モデルは、GLUE ベンチマークで 1.66 という大幅なマージンで元の大型モデルを上回っています。

要約(オリジナル)

Knowledge Distillation (KD) compresses computationally expensive pre-trained language models (PLMs) by transferring their knowledge to smaller models, allowing their use in resource-constrained or real-time settings. However, most smaller models fail to surpass the performance of the original larger model, resulting in sacrificing performance to improve inference speed. To address this issue, we propose Co-Training and Co-Distillation (CTCD), a novel framework that improves performance and inference speed together by co-training two models while mutually distilling knowledge. The CTCD framework successfully achieves this based on two significant findings: 1) Distilling knowledge from the smaller model to the larger model during co-training improves the performance of the larger model. 2) The enhanced performance of the larger model further boosts the performance of the smaller model. The CTCD framework shows promise as it can be combined with existing techniques like architecture design or data augmentation, replacing one-way KD methods, to achieve further performance improvement. Extensive ablation studies demonstrate the effectiveness of CTCD, and the small model distilled by CTCD outperforms the original larger model by a significant margin of 1.66 on the GLUE benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google