Misam: Using ML in Dataflow Selection of Sparse-Sparse Matrix Multiplication

要約

スパース行列-行列乗算 (SpGEMM) は、科学技術コンピューティング、グラフ分析、深層学習などの多くの分野で重要な演算です。
これらのアプリケーションは、行列のスパース性を利用して、ストレージと計算の需要を削減します。
ただし、スパース行列の不規則な構造は、パフォーマンスの最適化に大きな課題をもたらします。
従来のハードウェア アクセラレータは、固定データフロー スキーム (内部、外部、行単位) を使用して特定のスパース パターンに合わせて調整されていますが、実際のスパース性がこれらの所定のパターンから逸脱すると、最適なパフォーマンスが得られないことがよくあります。
SpGEMM の使用がさまざまなドメインに拡大し、それぞれが異なるスパース特性を持つため、さまざまなスパース パターンを効率的に処理できるハードウェア アクセラレータの需要が高まっています。
この論文では、多様なスパース パターンを持つ SpGEMM タスクに最適なデータフロー スキームを適応的に選択するための機械学習ベースのアプローチを紹介します。
デシジョン ツリーと深層強化学習を採用することで、最適なデータフロー スキームを特定する際にヒューリスティック ベースの手法を超えるこれらの手法の可能性を探ります。
私たちはモデルのパフォーマンスをヒューリスティックのパフォーマンスと比較することでモデルを評価し、各アプローチの長所と短所を強調します。
私たちの調査結果は、ハードウェア アクセラレータでの動的なデータフロー選択に機械学習を使用すると、最大 28 倍の効果が得られることを示唆しています。

要約(オリジナル)

Sparse matrix-matrix multiplication (SpGEMM) is a critical operation in numerous fields, including scientific computing, graph analytics, and deep learning. These applications exploit the sparsity of matrices to reduce storage and computational demands. However, the irregular structure of sparse matrices poses significant challenges for performance optimization. Traditional hardware accelerators are tailored for specific sparsity patterns with fixed dataflow schemes – inner, outer, and row-wise but often perform suboptimally when the actual sparsity deviates from these predetermined patterns. As the use of SpGEMM expands across various domains, each with distinct sparsity characteristics, the demand for hardware accelerators that can efficiently handle a range of sparsity patterns is increasing. This paper presents a machine learning based approach for adaptively selecting the most appropriate dataflow scheme for SpGEMM tasks with diverse sparsity patterns. By employing decision trees and deep reinforcement learning, we explore the potential of these techniques to surpass heuristic-based methods in identifying optimal dataflow schemes. We evaluate our models by comparing their performance with that of a heuristic, highlighting the strengths and weaknesses of each approach. Our findings suggest that using machine learning for dynamic dataflow selection in hardware accelerators can provide upto 28 times gains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google