Retrospective: A CORDIC Based Configurable Activation Function for NN Applications

要約

機能的な再構成性を提供することにより、リソース制約システムのASICハードウェア設計を加速するために、アクティベーション関数（AF）の設計のための肉体ベースの構成が以前に提案されました。
その導入以来、このニューラルネットワーク加速のためのこの新しいアプローチは広範な人気を獲得し、アカデミックおよび商業的なAIプロセッサの両方で活性化機能のための多くの設計に影響を与えています。
この遡及的分析では、このイニシアチブの基本的な側面を探求し、近年の重要な開発を要約し、AIアプリケーションの進化するニーズに合わせたDA-Vinci AFを紹介します。
この新世代の動的に構成可能で精密調整可能なアクティベーション関数コアは、Swish、Softmax、Selu、Geluなど、AIワークロードのさまざまな活性化関数に対するより大きな適応性を約束し、シフトとアドドのコーディック技術を利用しています。
以前に提示されたデザインは、MAC、シグモイド、およびTANH機能用に最適化されており、Relu AFSに組み込まれており、蓄積的な神経コンピューティングユニットに頂点に達しています。
これらの機能強化は、DNNS、RNN/LSTM、および変圧器に焦点を当てたAI加速器の実現のためのリソース効率の高いベクターエンジンの基本コンポーネントとして、98.5％の結果の質（QOR）を達成するためのリソース効率の高いベクターエンジンとして位置付けられています。

要約(オリジナル)

A CORDIC-based configuration for the design of Activation Functions (AF) was previously suggested to accelerate ASIC hardware design for resource-constrained systems by providing functional reconfigurability. Since its introduction, this new approach for neural network acceleration has gained widespread popularity, influencing numerous designs for activation functions in both academic and commercial AI processors. In this retrospective analysis, we explore the foundational aspects of this initiative, summarize key developments over recent years, and introduce the DA-VINCI AF tailored for the evolving needs of AI applications. This new generation of dynamically configurable and precision-adjustable activation function cores promise greater adaptability for a range of activation functions in AI workloads, including Swish, SoftMax, SeLU, and GeLU, utilizing the Shift-and-Add CORDIC technique. The previously presented design has been optimized for MAC, Sigmoid, and Tanh functionalities and incorporated into ReLU AFs, culminating in an accumulative NEURIC compute unit. These enhancements position NEURIC as a fundamental component in the resource-efficient vector engine for the realization of AI accelerators that focus on DNNs, RNNs/LSTMs, and Transformers, achieving a quality of results (QoR) of 98.5%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google