Exploring Challenges of Deploying BERT-based NLP Models in Resource-Constrained Embedded Devices

要約

タイトル：リソース制約のある組み込みデバイスにBERTベースのNLPモデルを展開する際の課題の探求

要約：

– BERTベースのニューラルアーキテクチャは、多くの下流NLPタスクの最新基準として確立されています。
– ただし、これらのアーキテクチャはデータに飢えており、多くのメモリやエネルギーを消費し、多くのリアルタイム、リソース制約のあるアプリケーションでの展開を妨げることがよくあります。
– 既存のBERTの軽量版（たとえば、DistilBERTやTinyBERTなど）は、複雑なNLPタスクでうまく機能しないことがあります。
– より重要なことは、設計者の観点から、使用する「適切な」BERTベースのアーキテクチャが、リソースの最適なトレードオフと最小の精度の両方をストライクできるかどうか不明であることです。
– システムエンジニアは、この質問に適切な答えを見つけるために多くの時間を費やしてトライアンドエラーの実験を行わなければなりません。
– この論文は、異なるリソース制約と精度予算の下でBERTベースのモデルを探究的に研究し、このリソース/精度トレードオフに関する経験的な観察を導き出すことを目的としています。
– 私たちの発見は、埋め込みシステムの代替BERTベースのアーキテクチャの中から情報を得ることで、設計者が意思決定を行うのに役立ち、開発時間と労力を節約することができます。

要約(オリジナル)

BERT-based neural architectures have established themselves as popular state-of-the-art baselines for many downstream NLP tasks. However, these architectures are data-hungry and consume a lot of memory and energy, often hindering their deployment in many real-time, resource-constrained applications. Existing lighter versions of BERT (eg. DistilBERT and TinyBERT) often cannot perform well on complex NLP tasks. More importantly, from a designer’s perspective, it is unclear what is the ‘right’ BERT-based architecture to use for a given NLP task that can strike the optimal trade-off between the resources available and the minimum accuracy desired by the end user. System engineers have to spend a lot of time conducting trial-and-error experiments to find a suitable answer to this question. This paper presents an exploratory study of BERT-based models under different resource constraints and accuracy budgets to derive empirical observations about this resource/accuracy trade-offs. Our findings can help designers to make informed choices among alternative BERT-based architectures for embedded systems, thus saving significant development time and effort.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI