A Survey on Design Methodologies for Accelerating Deep Learning on Heterogeneous Architectures

要約

近年、ディープラーニングの分野では、多くの破壊的で影響力のある進歩が見られます。
ディープ ニューラル ネットワークの複雑さが増大していることを考慮すると、異種 HPC プラットフォームを設計するために効率的なハードウェア アクセラレータの必要性がますます高まっています。
深層学習アクセラレータの設計には、コンピュータ アーキテクチャから近似コンピューティング、計算モデル、機械学習アルゴリズムに至るまで、複数の分野の専門知識を組み合わせた学際的なアプローチが必要です。
深層学習のアクセラレータを設計するために、ハードウェアとソフトウェアの共同設計アプローチ、高位合成手法、特定のカスタマイズされたコンパイラ、設計空間の探索、モデリング、シミュレーションの手法など、いくつかの手法とツールが提案されています。
これらの方法論は、利用可能な並列処理を最大化し、データの移動を最小限に抑えて、高いパフォーマンスとエネルギー効率を達成することを目的としています。
この調査は、深層学習アクセラレータを実装するために近年提案された最も影響力のある設計手法と EDA ツールの総合的なレビューを提供し、この急速に進化する分野における幅広い視点を読者に提供します。
特に、この研究は、異種 HPC プラットフォーム用の深層学習ハードウェア アクセラレータに焦点を当てた、[203] で同じ著者によって提案された以前の調査を補完するものです。

要約(オリジナル)

In recent years, the field of Deep Learning has seen many disruptive and impactful advancements. Given the increasing complexity of deep neural networks, the need for efficient hardware accelerators has become more and more pressing to design heterogeneous HPC platforms. The design of Deep Learning accelerators requires a multidisciplinary approach, combining expertise from several areas, spanning from computer architecture to approximate computing, computational models, and machine learning algorithms. Several methodologies and tools have been proposed to design accelerators for Deep Learning, including hardware-software co-design approaches, high-level synthesis methods, specific customized compilers, and methodologies for design space exploration, modeling, and simulation. These methodologies aim to maximize the exploitable parallelism and minimize data movement to achieve high performance and energy efficiency. This survey provides a holistic review of the most influential design methodologies and EDA tools proposed in recent years to implement Deep Learning accelerators, offering the reader a wide perspective in this rapidly evolving field. In particular, this work complements the previous survey proposed by the same authors in [203], which focuses on Deep Learning hardware accelerators for heterogeneous HPC platforms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google