A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms

要約

Deep Learning（DL）の最近の傾向により、ハードウェアアクセラレータは、画像分類、コンピュータービジョン、音声認識など、さまざまな高性能コンピューティング（HPC）アプリケーションに不可欠になっています。
この調査では、HPCアプリケーションのパフォーマンス需要を満たす役割に焦点を当てたDL加速器の最新の開発を要約および分類します。
GPUおよびTPUベースのプラットフォームだけでなく、FPGAおよびASICベースの加速器、神経加工ユニット、オープンハードウェアRISC-Vベースのアクセラレータ、共同プロセッサなどの特殊なハードウェアもカバーするDL加速度への最先端のアプローチを探ります。
この調査では、3Dスタッキングプロセッサーのメモリ、抵抗性RAMなどの非揮発性メモリ、インメモリコンピューティングに使用される位相変化メモリ、神経型加工ユニット、マルチチップモジュールベースのアクセラレータなど、新しいメモリテクノロジーとコンピューティングパラダイムを活用する加速器についても説明しています。
さらに、新しい量子ベースの加速器とフォトニクスに関する洞察を提供します。
最後に、この調査は、近年の最も影響力のあるアーキテクチャとテクノロジーを分類し、読者に深い学習加速の急速に進化する分野に関する包括的な視点を提供します。

要約(オリジナル)

Recent trends in deep learning (DL) have made hardware accelerators essential for various high-performance computing (HPC) applications, including image classification, computer vision, and speech recognition. This survey summarizes and classifies the most recent developments in DL accelerators, focusing on their role in meeting the performance demands of HPC applications. We explore cutting-edge approaches to DL acceleration, covering not only GPU- and TPU-based platforms but also specialized hardware such as FPGA- and ASIC-based accelerators, Neural Processing Units, open hardware RISC-V-based accelerators, and co-processors. This survey also describes accelerators leveraging emerging memory technologies and computing paradigms, including 3D-stacked Processor-In-Memory, non-volatile memories like Resistive RAM and Phase Change Memories used for in-memory computing, as well as Neuromorphic Processing Units, and Multi-Chip Module-based accelerators. Furthermore, we provide insights into emerging quantum-based accelerators and photonics. Finally, this survey categorizes the most influential architectures and technologies from recent years, offering readers a comprehensive perspective on the rapidly evolving field of deep learning acceleration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google