NVR: Vector Runahead on NPUs for Sparse Memory Access

要約

深いニューラルネットワークは、モデルパラメーターサイズのスケールアップを減らすためにスパースをますます活用しています。
ただし、スパースと剪定を通じて壁2時間の時間を短縮することは、不規則なメモリアクセスパターンのために依然として困難であり、頻繁なキャッシュミスにつながります。
このホワイトペーパーでは、NPUベクターRunahead（NVR）を提示します。これは、NPUに合わせて調整されたプリフェッチメカニズムで、まばらなDNNワークロードのキャッシュミス問題に対処します。
NVRは、オーバーヘッドが高く、携帯性が低いメモリパターンを最適化するのではなく、Runaheadの実行をNPUのユニークなアーキテクチャに適応させます。
NVRは、コンパイラやアルゴリズムのサポートを必要とせずに、まばらなDNNワークロードに一般的な微細構造ソリューションを提供し、NPUに加えて分離された、投機的、軽量ハードウェアサブスレッドとして動作し、最小限のハードウェアオーバーヘッド（5％未満）を使用します。
NVRは、汎用プロセッサでのSOTAプリフェッチと比較して、キャッシュミスが平均90％減少し、スパースワークロードに対して平均スピードアップをプリフェッチせずに4倍のスピードアップを提供します。
さらに、小さなキャッシュ（16kb）をNVRと組み合わせてNPUに組み込むことの利点を調査します。
私たちの評価は、この控えめなキャッシュを拡大すると、L2キャッシュサイズを同じ量だけ増やすよりも5倍のパフォーマンスの利点が得られることを示しています。

要約(オリジナル)

Deep Neural Networks are increasingly leveraging sparsity to reduce the scaling up of model parameter size. However, reducing wall-clock time through sparsity and pruning remains challenging due to irregular memory access patterns, leading to frequent cache misses. In this paper, we present NPU Vector Runahead (NVR), a prefetching mechanism tailored for NPUs to address cache miss problems in sparse DNN workloads. Rather than optimising memory patterns with high overhead and poor portability, NVR adapts runahead execution to the unique architecture of NPUs. NVR provides a general micro-architectural solution for sparse DNN workloads without requiring compiler or algorithmic support, operating as a decoupled, speculative, lightweight hardware sub-thread alongside the NPU, with minimal hardware overhead (under 5%). NVR achieves an average 90% reduction in cache misses compared to SOTA prefetching in general-purpose processors, delivering 4x average speedup on sparse workloads versus NPUs without prefetching. Moreover, we investigate the advantages of incorporating a small cache (16KB) into the NPU combined with NVR. Our evaluation shows that expanding this modest cache delivers 5x higher performance benefits than increasing the L2 cache size by the same amount.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google