Analytics of Longitudinal System Monitoring Data for Performance Prediction

要約

近年、いくつかの HPC 施設は、パフォーマンスと運用効率を理解するためにパフォーマンス関連データを収集するために、システムとジョブの継続的な監視を開始しています。
このようなデータを使用して、スケジューラー キューで待機しているジョブのパフォーマンスを予測できるデータ駆動型モデルを作成することで、個々のジョブとシステム全体のパフォーマンスを最適化できます。
このペーパーでは、システム全体の長期的な監視データと機械学習を使用して、代表的な制御ジョブのパフォーマンスをモデル化し、パフォーマンスの変動の原因を調査します。
これらの予測モデルを詳細に分析して、パフォーマンスの主要な予測因子である特徴を特定します。
このようなモデルはアプリケーションに依存せず、トレーニングに含まれていないアプリケーションのパフォーマンスを予測するために使用できることを示します。

要約(オリジナル)

In recent years, several HPC facilities have started continuous monitoring of their systems and jobs to collect performance-related data for understanding performance and operational efficiency. Such data can be used to optimize the performance of individual jobs and the overall system by creating data-driven models that can predict the performance of jobs waiting in the scheduler queue. In this paper, we model the performance of representative control jobs using longitudinal system-wide monitoring data and machine learning to explore the causes of performance variability. We analyze these prediction models in great detail to identify the features that are dominant predictors of performance. We demonstrate that such models can be application-agnostic and can be used for predicting performance of applications that are not included in training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google