TensorSLM: Energy-efficient Embedding Compression of Sub-billion Parameter Language Models on Low-end Devices

要約

小言語モデル（SLM、またはオンデバイスLMS）は、大規模な言語モデル（LLM）よりも大幅に少ないパラメーターを持っています。
通常、携帯電話やシングルボードコンピューターなど、ローエンドのデバイスに展開されます。
より良い一般化のためにモデルサイズの増加に依存するLLMSとは異なり、エッジアプリケーション向けに設計されたSLMSは、データセンターで展開されていないLLMでは対処されていないデバイスのバッテリー寿命の制約を考慮して、展開環境とエネルギー効率に適応性があると予想されます。
このペーパーでは、テンソルトレイン分解（TTD）を使用して、トレーニングフリーのトークン埋め込み圧縮アプローチを提案することにより、これら2つの要件に対処します。
事前に訓練された各トークン埋め込みベクターは、低次元マトリックス積状態（MPS）に変換されます。
典型的なローエンドデバイス、つまりRaspberry PIでの圧縮比、言語タスクのパフォーマンス、レイテンシ、およびエネルギー消費全体にわたる抽出された低ランク構造を包括的に評価します。
GPT-2/CEREBRES-GPTおよびOPTモデルのサブバリオンパラメーターバージョンを例として使用すると、私たちのアプローチは、$ 2.0 \ Times $埋め込みレイヤー圧縮で元のモデルに匹敵する言語タスクのパフォーマンスを実現し、単一のクエリのエネルギー消費は半分に低下します。

要約(オリジナル)

Small Language Models (SLMs, or on-device LMs) have significantly fewer parameters than Large Language Models (LLMs). They are typically deployed on low-end devices, like mobile phones and single-board computers. Unlike LLMs, which rely on increasing model size for better generalisation, SLMs designed for edge applications are expected to have adaptivity to the deployment environments and energy efficiency given the device battery life constraints, which are not addressed in datacenter-deployed LLMs. This paper addresses these two requirements by proposing a training-free token embedding compression approach using Tensor-Train Decomposition (TTD). Each pre-trained token embedding vector is converted into a lower-dimensional Matrix Product State (MPS). We comprehensively evaluate the extracted low-rank structures across compression ratio, language task performance, latency, and energy consumption on a typical low-end device, i.e. Raspberry Pi. Taking the sub-billion parameter versions of GPT-2/Cerebres-GPT and OPT models as examples, our approach achieves a comparable language task performance to the original model with around $2.0\times$ embedding layer compression, while the energy consumption of a single query drops by half.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google