Unsupervised KPIs-Based Clustering of Jobs in HPC Data Centers

要約

パフォーマンス分析はハイパフォーマンス コンピューティング (HPC) システムにおいて不可欠なタスクであり、異常検出、最適なリソース割り当て、予算計画などのさまざまな目的に適用されます。
HPC 監視タスクは、これらのシステムで実行されているジョブのステータスを監視するために、膨大な数の主要業績評価指標 (KPI) を生成します。
KPI は、CPU 使用率、メモリ使用率、ネットワーク (インターフェイス) トラフィック、またはハードウェアを監視するその他のセンサーに関するデータを提供します。
このデータを分析すると、ジョブの特性、パフォーマンス、失敗など、実行中のジョブに関する洞察に富んだ情報を得ることができます。
このペーパーの主な貢献は、HPC システムでの動作に応じてさまざまなタイプのジョブを識別/分類するためにどのメトリック (KPI) が最も適切であるかを特定することです。
この目的のために、ガリシア計算センター (CESGA) の実際のデータセットを使用して、さまざまなクラスタリング手法 (パーティションおよび階層クラスタリング アルゴリズム) を適用しました。
私たちは、(i) ネットワーク (インターフェイス) トラフィックの監視に関連するこれらのメトリック (KPI) が、HPC ジョブをクラスター化するための最適な結合と分離を提供し、(ii) 階層的クラスタリング アルゴリズムがこのタスクに最適であると結論付けました。
私たちのアプローチは、同じ HPC センターからの異なる実際のデータセットを使用して検証されました。

要約(オリジナル)

Performance analysis is an essential task in High-Performance Computing (HPC) systems and it is applied for different purposes such as anomaly detection, optimal resource allocation, and budget planning. HPC monitoring tasks generate a huge number of Key Performance Indicators (KPIs) to supervise the status of the jobs running in these systems. KPIs give data about CPU usage, memory usage, network (interface) traffic, or other sensors that monitor the hardware. Analyzing this data, it is possible to obtain insightful information about running jobs, such as their characteristics, performance, and failures. The main contribution in this paper is to identify which metric/s (KPIs) is/are the most appropriate to identify/classify different types of jobs according to their behavior in the HPC system. With this aim, we have applied different clustering techniques (partition and hierarchical clustering algorithms) using a real dataset from the Galician Computation Center (CESGA). We have concluded that (i) those metrics (KPIs) related to the Network (interface) traffic monitoring provide the best cohesion and separation to cluster HPC jobs, and (ii) hierarchical clustering algorithms are the most suitable for this task. Our approach was validated using a different real dataset from the same HPC center.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google