Hardware Acceleration of LLMs: A comprehensive survey and comparison

要約

大規模言語モデル (LLM) は、自然言語処理タスク用の強力なツールとして登場し、人間のようなテキストを理解して生成する能力でこの分野に革命をもたらしました。
このペーパーでは、ハードウェア アクセラレータを使用した大規模言語モデルのトランスフォーマー ネットワークの高速化のために発表されたいくつかの研究活動の包括的な調査を紹介します。
この調査では、提案されているフレームワークを提示し、テクノロジー、処理プラットフォーム (FPGA、ASIC、インメモリ、GPU)、高速化、エネルギー効率、パフォーマンス (GOP)、および
各フレームワークのエネルギー効率 (GOP/W)。
比較における主な課題は、提案されたすべてのスキームが異なるプロセス技術で実装されており、公正な比較が困難であることです。
この論文の主な貢献は、公平な比較を行うために、同じテクノロジーのパフォーマンスとエネルギー効率の結果を推定したことです。
1 つは理論的なもの、もう 1 つは実践的なものです。
LLM の一部を複数の FPGA チップに実装して結果を同じプロセス テクノロジに推定し、パフォーマンスを公正に比較します。

要約(オリジナル)

Large Language Models (LLMs) have emerged as powerful tools for natural language processing tasks, revolutionizing the field with their ability to understand and generate human-like text. In this paper, we present a comprehensive survey of the several research efforts that have been presented for the acceleration of transformer networks for Large Language Models using hardware accelerators. The survey presents the frameworks that have been proposed and then performs a qualitative and quantitative comparison regarding the technology, the processing platform (FPGA, ASIC, In-Memory, GPU), the speedup, the energy efficiency, the performance (GOPs), and the energy efficiency (GOPs/W) of each framework. The main challenge in comparison is that every proposed scheme is implemented on a different process technology making hard a fair comparison. The main contribution of this paper is that we extrapolate the results of the performance and the energy efficiency on the same technology to make a fair comparison; one theoretical and one more practical. We implement part of the LLMs on several FPGA chips to extrapolate the results to the same process technology and then we make a fair comparison of the performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google