Processing Natural Language on Embedded Devices: How Well Do Modern Models Perform?

要約

音声制御システムは、ホーム/産業オートメーション、自動車インフォテインメント、ヘルスケアなど、多くの IoT 固有のアプリケーションで普及しつつあります。
クラウドベースの音声サービス (例: Alexa、Siri) は高性能コンピューティング サーバーを活用できますが、一部のユースケース (例: ロボット工学、自動車インフォテインメント) では、自然言語処理 (NLP) タスクをオフラインで、多くの場合リソース上で実行する必要がある場合があります。
制約のある組み込みデバイス。
BERT やそのバリアントなどの大規模な言語モデルは、主に計算負荷の高いサーバーを念頭に置いて開発されています。
BERT モデルはさまざまな NLP タスクにわたって優れたパフォーマンスを発揮しますが、サイズが大きくパラメーターが多いため、組み込みシステムでのオフライン計算には大きな障害となります。
このような言語モデル (例: DistilBERT や TinyBERT) を軽量に置き換えると、特に複雑な NLP タスクの場合、精度が犠牲になることがよくあります。
これまでのところ、最先端の言語モデル、つまり BERT とその亜種がプロセッサ、メモリ、バッテリ電力が限られている組み込みシステムに展開できるかどうか、また展開できるとしたらどうなるのかはまだ不明です。
は、特定の NLP タスクに対して選択する「正しい」構成とパラメーターのセットです。
この論文では、さまざまなリソース制約と精度予算の下で \textit{現代言語モデルの探索的研究} を提示し、これらのリソースと精度のトレードオフに関する経験的観察を導き出します。
特に、最も一般的に使用されている 4 つの BERT ベースの言語モデル (例: BERT、RoBERTa、DistilBERT、TinyBERT) が組み込みシステム上でどのように動作するかを研究します。
私たちは、さまざまな NLP タスクを実行する 3 つのハードウェア構成と 4 つのデータセットを備えた Raspberry Pi ベースのロボット プラットフォームでテストしました。
私たちの調査結果は、設計者が最新の言語モデル、特に BERT アーキテクチャに基づくものの導入可能性とパフォーマンスを理解するのに役立ち、試行錯誤の作業で無駄になる時間を大幅に節約できます。

要約(オリジナル)

Voice-controlled systems are becoming ubiquitous in many IoT-specific applications such as home/industrial automation, automotive infotainment, and healthcare. While cloud-based voice services (\eg Alexa, Siri) can leverage high-performance computing servers, some use cases (\eg robotics, automotive infotainment) may require to execute the natural language processing (NLP) tasks offline, often on resource-constrained embedded devices. Large language models such as BERT and its variants are primarily developed with compute-heavy servers in mind. Despite the great performance of BERT models across various NLP tasks, their large size and numerous parameters pose substantial obstacles to offline computation on embedded systems. Lighter replacement of such language models (\eg DistilBERT and TinyBERT) often sacrifice accuracy, particularly for complex NLP tasks. Until now, it is still unclear \ca whether the state-of-the-art language models, \viz BERT and its variants are deployable on embedded systems with a limited processor, memory, and battery power and \cb if they do, what are the “right” set of configurations and parameters to choose for a given NLP task. This paper presents an \textit{exploratory study of modern language models} under different resource constraints and accuracy budgets to derive empirical observations about these resource/accuracy trade-offs. In particular, we study how the four most commonly used BERT-based language models (\eg BERT, RoBERTa, DistilBERT, and TinyBERT) perform on embedded systems. We tested them on a Raspberry Pi-based robotic platform with three hardware configurations and four datasets running various NLP tasks. Our findings can help designers to understand the deployability and performance of modern language models, especially those based on BERT architectures, thus saving a lot of time wasted in trial-and-error efforts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google