Learning Generalizable Program and Architecture Representations for Performance Modeling

要約

パフォーマンス モデリングは、いくつか例を挙げると、パフォーマンスの特性評価/最適化、設計空間の探索、リソース割り当ての問題など、多くの分野で不可欠なツールです。
ただし、既存のパフォーマンス モデリング アプローチには、離散イベント シミュレーターの高い計算コスト、ハードウェア エミュレーターの狭い柔軟性、または分析/データ駆動型モデルの精度/汎用性の制限などの制限があります。
これらの制限に対処するために、この論文では、高次元の独立/直交プログラムとマイクロアーキテクチャ表現を学習する新しい深層学習ベースのパフォーマンス モデリング フレームワークである PerfVec を提案します。
学習したプログラム表現は、任意のマイクロアーキテクチャ上でのパフォーマンスを予測するために使用でき、同様に、マイクロアーキテクチャ表現は任意のプログラムのパフォーマンス予測に適用できます。
さらに、PerfVec は、命令のパフォーマンスの本質を捉える基礎モデルを生成します。これは、開発者がトレーニング コストをかけずに、パフォーマンス モデリングに関連する多数のタスクで直接使用できます。
この評価は、PerfVec が以前のアプローチよりも汎用的で効率的であることを示しています。

要約(オリジナル)

Performance modeling is an essential tool in many areas, including performance characterization/optimization, design space exploration, and resource allocation problems, to name a few. However, existing performance modeling approaches have limitations, such as high computational cost for discrete-event simulators, narrow flexibility of hardware emulators, or restricted accuracy/generality of analytical/data-driven models. To address these limitations, this paper proposes PerfVec, a novel deep learning-based performance modeling framework that learns high-dimensional and independent/orthogonal program and microarchitecture representations. Once learned, a program representation can be used to predict its performance on any microarchitecture, and likewise, a microarchitecture representation can be applied in the performance prediction of any program. Additionally, PerfVec yields a foundation model that captures the performance essence of instructions, which can be directly used by developers in numerous performance modeling related tasks without incurring its training cost. The evaluation demonstrates that PerfVec is more general and efficient than previous approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google