A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms

要約

ディープ ラーニング (DL) の最近の傾向により、画像分類、コンピューター ビジョン、音声認識などのいくつかのクラスのハイ パフォーマンス コンピューティング (HPC) アプリケーションにとって最も実行可能なソリューションとしてハードウェア アクセラレータが求められています。
この調査では、HPC アプリケーションのパフォーマンス要件を達成するのに適した DL アクセラレータの設計における最新の進歩を要約し、分類します。
特に、GPU や TPU ベースのアクセラレータだけでなく、FPGA ベースや ASIC ベースのアクセラレータ、ニューラル プロセッシング ユニット、オープン ハードウェア RISC-V などの設計固有のハードウェア アクセラレータを含むディープ ラーニング アクセラレーションをサポートするための最も先進的なアプローチに焦点を当てています。
ベースのアクセラレータとコプロセッサ。
この調査では、インメモリ コンピューティング、ニューロモーフィック プロセッシング ユニット、
マルチチップ モジュールに基づくアクセラレータ。
新しいテクノロジーの中には、量子ベースの加速器とフォトニクスに関するいくつかの洞察も含まれています。
結論として、この調査では、読者に急速に進化する深層学習分野における包括的な視点を提供することを目的として、過去数年間に提案された最も影響力のあるアーキテクチャとテクノロジーを分類しています。

要約(オリジナル)

Recent trends in deep learning (DL) imposed hardware accelerators as the most viable solution for several classes of high-performance computing (HPC) applications such as image classification, computer vision, and speech recognition. This survey summarizes and classifies the most recent advances in designing DL accelerators suitable to reach the performance requirements of HPC applications. In particular, it highlights the most advanced approaches to support deep learning accelerations including not only GPU and TPU-based accelerators but also design-specific hardware accelerators such as FPGA-based and ASIC-based accelerators, Neural Processing Units, open hardware RISC-V-based accelerators and co-processors. The survey also describes accelerators based on emerging memory technologies and computing paradigms, such as 3D-stacked Processor-In-Memory, non-volatile memories (mainly, Resistive RAM and Phase Change Memories) to implement in-memory computing, Neuromorphic Processing Units, and accelerators based on Multi-Chip Modules. Among emerging technologies, we also include some insights into quantum-based accelerators and photonics. To conclude, the survey classifies the most influential architectures and technologies proposed in the last years, with the purpose of offering the reader a comprehensive perspective in the rapidly evolving field of deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google