ASC: Adaptive Scale Feature Map Compression for Deep Neural Network

要約

深層学習アクセラレータの需要はますます高まっています。
ただし、そのパフォーマンスは機能マップのサイズによって制限されるため、高帯域幅要件と大きなバッファ サイズが必要になります。
特徴マップのユニークな特性を活用した適応スケール特徴マップ圧縮技術を提案します。
この技術は、弱いチャネル相関を前提とした独立したチャネル インデックス付けを採用し、立方体状のブロック形状を利用して強い局所相関から恩恵を受けます。
この方法は、切り替え可能なエンドポイント モードと適応スケール補間を使用して圧縮をさらに最適化し、外れ値の有無にかかわらず単峰性のデータ分布を処理します。
これにより、16 ビット データの圧縮率は固定ビットレートで 4$\times$、可変ビットレートで最大 7.69$\times$ になります。
当社のハードウェア設計は、補間スケールを調整することで面積コストを最小限に抑え、補間点間でのハードウェアの共有を容易にします。
さらに、単純な補間のためのしきい値の概念を導入し、複雑なハードウェアの必要性を防ぎます。
TSMC 28nm 実装では、8 ビット バージョンの同等のゲート数が 6135 であることがわかります。
さらに、ハードウェア アーキテクチャは、エリア コストの線形未満の増加のみで効果的に拡張されます。
32$\time$ のスループット向上を達成すると、ハードウェア コストのわずか 7.65$\time$ で DDR5-6400 の理論上の帯域幅を満たします。

要約(オリジナル)

Deep-learning accelerators are increasingly in demand; however, their performance is constrained by the size of the feature map, leading to high bandwidth requirements and large buffer sizes. We propose an adaptive scale feature map compression technique leveraging the unique properties of the feature map. This technique adopts independent channel indexing given the weak channel correlation and utilizes a cubical-like block shape to benefit from strong local correlations. The method further optimizes compression using a switchable endpoint mode and adaptive scale interpolation to handle unimodal data distributions, both with and without outliers. This results in 4$\times$ and up to 7.69$\times$ compression rates for 16-bit data in constant and variable bitrates, respectively. Our hardware design minimizes area cost by adjusting interpolation scales, which facilitates hardware sharing among interpolation points. Additionally, we introduce a threshold concept for straightforward interpolation, preventing the need for intricate hardware. The TSMC 28nm implementation showcases an equivalent gate count of 6135 for the 8-bit version. Furthermore, the hardware architecture scales effectively, with only a sublinear increase in area cost. Achieving a 32$\times$ throughput increase meets the theoretical bandwidth of DDR5-6400 at just 7.65$\times$ the hardware cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google