HADES: Hardware Accelerated Decoding for Efficient Speculation in Large Language Models

要約

大規模言語モデル (LLM) は、人間のようなテキストを理解して生成することにより、自然言語処理に革命をもたらしました。
ただし、より高度な LLM に対する需要が高まるにつれ、その規模と複雑さにより、計算上の大きな課題が生じています。
このペーパーでは、LLM のパフォーマンスとエネルギー効率を向上させる新しいアプローチであるハードウェア アクセラレーテッド デコーディング (HADES) を紹介します。
私たちは、既存の文献ではこれまで検討されていなかった概念である、ハードウェア レベルの投機的デコード サポートを備えた LLM アクセラレータの設計に取り組みます。
私たちの研究は、投機的デコードによって LLM 操作の効率が大幅に向上し、これらのモデルのより高度で実用的なアプリケーションへの道が開かれることを示しています。

要約(オリジナル)

Large Language Models (LLMs) have revolutionized natural language processing by understanding and generating human-like text. However, the increasing demand for more sophisticated LLMs presents significant computational challenges due to their scale and complexity. This paper introduces Hardware Accelerated Decoding (HADES), a novel approach to enhance the performance and energy efficiency of LLMs. We address the design of an LLM accelerator with hardware-level speculative decoding support, a concept not previously explored in existing literature. Our work demonstrates how speculative decoding can significantly improve the efficiency of LLM operations, paving the way for more advanced and practical applications of these models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google