QuaLA-MiniLM: a Quantized Length Adaptive MiniLM

要約

タイトル：QuaLA-MiniLM：量子化された長さ適応型MiniLM

要約：

– Transformerは高い精度を持っているが、限られた計算予算では実用化されず、高い精度を活用することができない。
– 知識蒸留アプローチは計算効率を改善して、より小さなトランスフォーマ表現へ自己蒸留を実現することでモデルを生成する。
– しかしながら、NLPタスクにおいては、レイヤーの数を減らすと、性能が低下するという問題がある。
– Dynamic-TinyBERTは、Length Adaptive Transformer（LAT）技術をTinyBERTに部分実装することですることでこの限界に対処することができ、BERT-baseに比べて3倍の高速化とわずかな精度損失を実現している。
– この研究では、Dynamic-TinyBERTアプローチを拡張し、MiniLM蒸留とLATメソッドを併用して、さらに高効率なモデルを生成することを目的としている。
– この研究では、量子化された長さ適応型MiniLMモデル（QuaLA-MiniLM）が1回トレーニングするだけで、任意の推論シナリオに動的に適合し、SQuAD1.1データセットにおいて、任意の計算予算に対して他の効果的なアプローチに比べて優れた精度効率トレードオフを達成している（1％未満の精度損失で最大8.8倍の高速化が実現可能）
– この研究のコードはGithubで公開されている。

要約(オリジナル)

Limited computational budgets often prevent transformers from being used in production and from having their high accuracy utilized. A knowledge distillation approach addresses the computational efficiency by self-distilling BERT into a smaller transformer representation having fewer layers and smaller internal embedding. However, the performance of these models drops as we reduce the number of layers, notably in advanced NLP tasks such as span question answering. In addition, a separate model must be trained for each inference scenario with its distinct computational budget. Dynamic-TinyBERT tackles both limitations by partially implementing the Length Adaptive Transformer (LAT) technique onto TinyBERT, achieving x3 speedup over BERT-base with minimal accuracy loss. In this work, we expand the Dynamic-TinyBERT approach to generate a much more highly efficient model. We use MiniLM distillation jointly with the LAT method, and we further enhance the efficiency by applying low-bit quantization. Our quantized length-adaptive MiniLM model (QuaLA-MiniLM) is trained only once, dynamically fits any inference scenario, and achieves an accuracy-efficiency trade-off superior to any other efficient approaches per any computational budget on the SQuAD1.1 dataset (up to x8.8 speedup with <1% accuracy loss). The code to reproduce this work is publicly available on Github.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI