Return of the Encoder: Maximizing Parameter Efficiency for SLMs

要約

大規模なデコーダーのみの言語モデルの優位性は、シーケンス処理における基本的な効率の利点にもかかわらず、エンコーダデコーダーアーキテクチャを覆い隠しています。
小言語モデル（SLMS） – 10億パラメーター以下のパラメーターが少ないもの – GPU、CPU、およびNPUプラットフォーム全体の体系的な分析により、エンコーダデコーダーアーキテクチャは、デコーダーと比較して47％低い最初のトークンレイテンシと4.7倍高いスループットを達成していることが明らかになりました。
エッジデバイス上のモデルのみ。
これらの利益は、エンコーダデコーダーの1回限りの入力処理と理解と生成の段階の効率的な分離に起因する可能性があります。
エンコーダデコーダーモデルが大規模なデコーダーのみの教師からの機能を活用しながら、アーキテクチャの利点を維持し、多様なタスク全体で最大6つのパフォーマンスポイントの改善を達成し、入力入力の非対称シーケンスタスクが大幅に増加し、
出力分布は、さまざまな処理アプローチの恩恵を受けることができます。
回転式位置埋め込み（ロープ）やビジョンエンコーダーなどの最新の進歩と組み合わせると、体系的な調査は、エンコーダーデコーダーアーキテクチャがリソースに制約のある環境で能力のある言語モデルを展開するためのより実用的なパスを提供することを示しています。
私たちの調査結果は、デコーダーのみのスケーリングに向かう一般的な傾向に挑戦し、特に計算効率が最重要であるオンデバイスとエッジの展開では、パラメーターの予算が減少するにつれて建築の選択がますます重要になることを示しています。

要約(オリジナル)

The dominance of large decoder-only language models has overshadowed encoder-decoder architectures, despite their fundamental efficiency advantages in sequence processing. For small language models (SLMs) – those with 1 billion parameters or fewer – our systematic analysis across GPU, CPU, and NPU platforms reveals that encoder-decoder architectures achieve 47% lower first-token latency and 4.7x higher throughput compared to decoder-only models on edge devices. These gains may be attributed to encoder-decoder’s one-time input processing and efficient separation of understanding and generation phases. We introduce a novel knowledge distillation framework that enables encoder-decoder models to leverage capabilities from large scalable decoder-only teachers while preserving their architectural advantages, achieving up to 6 average performance points improvement across diverse tasks, with significant gains in asymmetric sequence tasks where input and output distributions can benefit from different processing approaches. When combined with modern advances like Rotary Positional Embeddings (RoPE) and Vision encoders, our systematic investigation demonstrates that encoder-decoder architectures provide a more practical path toward deploying capable language models in resource-constrained environments. Our findings challenge the prevailing trend toward decoder-only scaling, showing that architectural choices become increasingly crucial as parameter budgets decrease, particularly for on-device and edge deployments where computational efficiency is paramount.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google