ATHEENA: A Toolflow for Hardware Early-Exit Network Automation

要約

タイトル：ATHEENA：ハードウェアEarly-Exitネットワーク自動化のためのツールフロー

要約：

– Deep Neural Networksの精度、スループット、効率の向上の必要性から、FPGA上のカスタムアーキテクチャーを最大限活用する多数の手法が存在している。
– これらには、手作りのネットワークの作成や量子化およびプルーニングの使用が含まれている。
– ただし、静的なソリューションの潜在的な可能性がすでに十分に活用されているため、個々のデータサンプルの異なる難易度を利用して、効率をさらに向上させ、分類の平均計算量を減らすことに焦点を移すことを提案する。
– 入力に依存する計算により、ネットワークは結果が信頼度のしきい値を満たした場合に、タスクを早期に終了するためのランタイム決定を行うことができる。
– Early-Exitネットワークアーキテクチャは、ソフトウェアでこのような動作を実装するための、ますます人気がある方法になっている。
– 本研究では、Early-Exitネットワークからの早期終了の可能性を活用して、異なるネットワークセクションに割り当てられるリソースを拡大する自動FPGAツールフロー、ATHEENAを作成する。
– このツールフローは、fpgaConvNetのデータフローモデルを拡張してEarly-Exitネットワークをサポートし、設計空間探索を使用して生成されたストリーミングアーキテクチャハードウェアを最適化し、スループットを増加/面積を削減しながら精度を維持することを目的としています。
– 3つの異なるネットワークでの実験結果は、Early Exitを使用しない最適化されたベースラインネットワーク実装と比較して、$2.00\times$から$2.78\times$のスループットの増加を示しています。
– さらに、このツールフローは、ベースラインで必要とするリソースの$46\%$でも同じベースラインのスループットを実現することができます。

要約(オリジナル)

The continued need for improvements in accuracy, throughput, and efficiency of Deep Neural Networks has resulted in a multitude of methods that make the most of custom architectures on FPGAs. These include the creation of hand-crafted networks and the use of quantization and pruning to reduce extraneous network parameters. However, with the potential of static solutions already well exploited, we propose to shift the focus to using the varying difficulty of individual data samples to further improve efficiency and reduce average compute for classification. Input-dependent computation allows for the network to make runtime decisions to finish a task early if the result meets a confidence threshold. Early-Exit network architectures have become an increasingly popular way to implement such behaviour in software. We create: A Toolflow for Hardware Early-Exit Network Automation (ATHEENA), an automated FPGA toolflow that leverages the probability of samples exiting early from such networks to scale the resources allocated to different sections of the network. The toolflow uses the data-flow model of fpgaConvNet, extended to support Early-Exit networks as well as Design Space Exploration to optimize the generated streaming architecture hardware with the goal of increasing throughput/reducing area while maintaining accuracy. Experimental results on three different networks demonstrate a throughput increase of $2.00\times$ to $2.78\times$ compared to an optimized baseline network implementation with no early exits. Additionally, the toolflow can achieve a throughput matching the same baseline with as low as $46\%$ of the resources the baseline requires.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI