CLSA-CIM: A Cross-Layer Scheduling Approach for Computing-in-Memory Architectures

要約

効率的な機械学習 (ML) アクセラレータに対する需要が急速に高まっており、抵抗変化型ランダム アクセス メモリ (RRAM) ベースのタイル型コンピューティング イン メモリ (CIM) アーキテクチャなどの新しいコンピューティング概念の開発が推進されています。
CIM によりメモリ ユニット内での計算が可能になり、データ処理が高速化され、消費電力が削減されます。
タイル化された CIM アーキテクチャの可能性を活用するには、効率的なコンパイラ アルゴリズムが不可欠です。
従来の ML コンパイラは CPU、GPU、その他のノイマン型アーキテクチャのコード生成に重点を置いていますが、CIM アーキテクチャをカバーするには適応が必要です。
クロスレイヤー スケジューリングは、CIM コアの使用率を高め、それによって計算を高速化するため、有望なアプローチです。
以前の研究でも同様の概念が暗黙的に使用されていますが、タイル化された CIM アーキテクチャのクロスレイヤ スケジューリングに関する明確で定量化可能なアルゴリズムの定義が不足しています。
このギャップを埋めるために、タイル型 CIM アーキテクチャ用のクロスレイヤー スケジューリング アルゴリズムである CLSA-CIM を紹介します。
CLSA-CIM を既存の重みマッピング戦略と統合し、最先端 (SOTA) スケジューリング アルゴリズムとパフォーマンスを比較します。
CLSA-CIM は使用率を最大 17.9 倍改善し、SOTA と比較して全体の速度が最大 29.2 倍向上します。

要約(オリジナル)

The demand for efficient machine learning (ML) accelerators is growing rapidly, driving the development of novel computing concepts such as resistive random access memory (RRAM)-based tiled computing-in-memory (CIM) architectures. CIM allows to compute within the memory unit, resulting in faster data processing and reduced power consumption. Efficient compiler algorithms are essential to exploit the potential of tiled CIM architectures. While conventional ML compilers focus on code generation for CPUs, GPUs, and other von Neumann architectures, adaptations are needed to cover CIM architectures. Cross-layer scheduling is a promising approach, as it enhances the utilization of CIM cores, thereby accelerating computations. Although similar concepts are implicitly used in previous work, there is a lack of clear and quantifiable algorithmic definitions for cross-layer scheduling for tiled CIM architectures. To close this gap, we present CLSA-CIM, a cross-layer scheduling algorithm for tiled CIM architectures. We integrate CLSA-CIM with existing weight-mapping strategies and compare performance against state-of-the-art (SOTA) scheduling algorithms. CLSA-CIM improves the utilization by up to 17.9 x , resulting in an overall speedup increase of up to 29.2 x compared to SOTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google