A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms

要約

ディープ ラーニング (DL) の最近の傾向により、画像分類、コンピューター ビジョン、音声認識などのいくつかのクラスのハイ パフォーマンス コンピューティング (HPC) アプリケーションにとって最も実行可能なソリューションとしてハードウェア アクセラレータが求められています。
この調査では、HPC アプリケーションのパフォーマンス要件を達成するのに適した DL アクセラレータの設計における最新の進歩を要約し、分類します。
特に、GPU や TPU ベースのアクセラレータだけでなく、FPGA ベースや ASIC ベースのアクセラレータ、ニューラル プロセッシング ユニット、オープン ハードウェア RISC-V などの設計固有のハードウェア アクセラレータを含むディープ ラーニング アクセラレーションをサポートするための最も先進的なアプローチに焦点を当てています。
ベースのアクセラレータとコプロセッサ。
この調査では、インメモリ コンピューティング、ニューロモーフィック プロセッシング ユニット、
マルチチップ モジュールに基づくアクセラレータ。
この調査では、急速に進化する深層学習分野における包括的な視点を読者に提供することを目的として、ここ数年に提案された最も影響力のあるアーキテクチャとテクノロジーを分類しています。
最後に、量子加速器やフォトニクスなどの DL 加速器における将来の課題についての洞察を提供します。

要約(オリジナル)

Recent trends in deep learning (DL) imposed hardware accelerators as the most viable solution for several classes of high-performance computing (HPC) applications such as image classification, computer vision, and speech recognition. This survey summarizes and classifies the most recent advances in designing DL accelerators suitable to reach the performance requirements of HPC applications. In particular, it highlights the most advanced approaches to support deep learning accelerations including not only GPU and TPU-based accelerators but also design-specific hardware accelerators such as FPGA-based and ASIC-based accelerators, Neural Processing Units, open hardware RISC-V-based accelerators and co-processors. The survey also describes accelerators based on emerging memory technologies and computing paradigms, such as 3D-stacked Processor-In-Memory, non-volatile memories (mainly, Resistive RAM and Phase Change Memories) to implement in-memory computing, Neuromorphic Processing Units, and accelerators based on Multi-Chip Modules. The survey classifies the most influential architectures and technologies proposed in the last years, with the purpose of offering the reader a comprehensive perspective in the rapidly evolving field of deep learning. Finally, it provides some insights into future challenges in DL accelerators such as quantum accelerators and photonics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google