Quantized Transformer Language Model Implementations on Edge Devices

要約

BiDirectional Encoder Representations from Transformers (BERT) のような大規模なトランスフォーマー ベースのモデルは、自然言語処理 (NLP) アプリケーションに広く使用されています。これらのモデルは、最初に数百万のパラメーターを含む大規模なコーパスで事前トレーニングされ、その後微調整されます。
ダウンストリーム NLP タスク用。
これらの大規模モデルの主な制限の 1 つは、モデル サイズが大きく推論遅延が増加するため、リソースに制約のあるデバイスには展開できないことです。
これらの制限を克服するために、このような大規模モデルを、リソースに制約のあるエッジ デバイスでの展開に合わせて調整された、最適化された FlatBuffer 形式に変換できます。
ここでは、RepLab 2013 データセット内の英語ツイートの評判分析用に微調整された、3 つの異なるエッジ デバイス上でこのような FlatBuffer 変換された MobileBERT モデルのパフォーマンスを評価します。
さらに、この調査にはデプロイされたモデルの評価が含まれており、その遅延、パフォーマンス、リソース効率が細心の注意を払って評価されました。
私たちの実験結果は、元の BERT の大規模モデルと比較して、変換および量子化された MobileBERT モデルのフットプリントは 160$\times$ 小さく、エッジ デバイスで 1 秒あたり少なくとも 1 つのツイートを分析する際の精度は 4.1% 低下することがわかりました。
さらに、私たちの調査では、すべてのデータがサーバーレス環境内でローカルに処理されるため、TinyML システムのプライバシー保護の側面が強調されています。

要約(オリジナル)

Large-scale transformer-based models like the Bidirectional Encoder Representations from Transformers (BERT) are widely used for Natural Language Processing (NLP) applications, wherein these models are initially pre-trained with a large corpus with millions of parameters and then fine-tuned for a downstream NLP task. One of the major limitations of these large-scale models is that they cannot be deployed on resource-constrained devices due to their large model size and increased inference latency. In order to overcome these limitations, such large-scale models can be converted to an optimized FlatBuffer format, tailored for deployment on resource-constrained edge devices. Herein, we evaluate the performance of such FlatBuffer transformed MobileBERT models on three different edge devices, fine-tuned for Reputation analysis of English language tweets in the RepLab 2013 dataset. In addition, this study encompassed an evaluation of the deployed models, wherein their latency, performance, and resource efficiency were meticulously assessed. Our experiment results show that, compared to the original BERT large model, the converted and quantized MobileBERT models have 160$\times$ smaller footprints for a 4.1% drop in accuracy while analyzing at least one tweet per second on edge devices. Furthermore, our study highlights the privacy-preserving aspect of TinyML systems as all data is processed locally within a serverless environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google