BEBERT: Efficient and Robust Binary Ensemble BERT

要約

事前トレーニング済みの BERT モデルは、自然言語処理 (NLP) タスクで優れた精度を達成しています。
ただし、パラメーターが多すぎると、エッジ デバイスでの効率的な展開が妨げられます。
BERT モデルの 2 値化は、この問題を大幅に軽減できますが、完全精度のモデルと比較して精度が大幅に低下します。
この論文では、精度のギャップを埋めるために、効率的で堅牢なバイナリ アンサンブル BERT (BEBERT) を提案します。
私たちの知る限りでは、これはバイナリBERTにアンサンブル技術を採用した最初の研究であり、計算効率を維持しながら優れた精度を達成するBEBERTを生み出しました。
さらに、アンサンブル中の知識蒸留手順を削除して、精度を損なうことなくトレーニングプロセスを高速化します。
GLUE ベンチマークの実験結果は、提案された BEBERT が既存のバイナリ BERT モデルよりも精度と堅牢性において大幅に優れており、トレーニング時間が 2 倍高速化されていることを示しています。
さらに、当社の BEBERT は、FLOP とモデル サイズをそれぞれ 15 倍と 13 倍節約しながら、完全精度のベースラインと比較してわずか 0.3% のごくわずかな精度の損失しかありません。
さらに、BEBERT は他の圧縮 BERT よりも精度が最大 6.7% 優れています。

要約(オリジナル)

Pre-trained BERT models have achieved impressive accuracy on natural language processing (NLP) tasks. However, their excessive amount of parameters hinders them from efficient deployment on edge devices. Binarization of the BERT models can significantly alleviate this issue but comes with a severe accuracy drop compared with their full-precision counterparts. In this paper, we propose an efficient and robust binary ensemble BERT (BEBERT) to bridge the accuracy gap. To the best of our knowledge, this is the first work employing ensemble techniques on binary BERTs, yielding BEBERT, which achieves superior accuracy while retaining computational efficiency. Furthermore, we remove the knowledge distillation procedures during ensemble to speed up the training process without compromising accuracy. Experimental results on the GLUE benchmark show that the proposed BEBERT significantly outperforms the existing binary BERT models in accuracy and robustness with a 2x speedup on training time. Moreover, our BEBERT has only a negligible accuracy loss of 0.3% compared to the full-precision baseline while saving 15x and 13x in FLOPs and model size, respectively. In addition, BEBERT also outperforms other compressed BERTs in accuracy by up to 6.7%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google