Performance Modeling of Data Storage Systems using Generative Models

要約

システムの高精度モデリングは、産業データ分析の主要分野の 1 つです。
システムのモデル、つまりデジタルツインは、さまざまな条件下での動作を予測するために使用されます。
私たちは、機械学習ベースの生成モデルを使用してストレージ システムのいくつかのモデルを開発しました。
このシステムは、さまざまな RAID スキームとキャッシュを備えたハードディスク ドライブ (HDD) とソリッド ステート ドライブ (SSD) のストレージ プールといういくつかのコンポーネントで構成されています。
各ストレージ コンポーネントは、構成および外部データ ロード パラメータに応じて、IOPS とレイテンシの観点からコンポーネントのパフォーマンスの確率分布を記述する確率モデルによって表されます。
実験の結果は、システムのコンポーネントとモデルに応じて、IOPS については 4 ～ 10 %、遅延予測については 3 ～ 16 % の誤差があることを示しています。
予測では、リトルの法則と最大 0.99 のピアソン相関が示されており、モデルの教師なし信頼性チェックに使用できます。
さらに、機械学習における回帰アルゴリズム、条件付き生成モデル、および不確実性推定手法のベンチマークに使用できる新しいデータセットを紹介します。

要約(オリジナル)

High-precision modeling of systems is one of the main areas of industrial data analysis. Models of systems, their digital twins, are used to predict their behavior under various conditions. We have developed several models of a storage system using machine learning-based generative models. The system consists of several components: hard disk drive (HDD) and solid-state drive (SSD) storage pools with different RAID schemes and cache. Each storage component is represented by a probabilistic model that describes the probability distribution of the component performance in terms of IOPS and latency, depending on their configuration and external data load parameters. The results of the experiments demonstrate the errors of 4-10 % for IOPS and 3-16 % for latency predictions depending on the components and models of the system. The predictions show up to 0.99 Pearson correlation with Little’s law, which can be used for unsupervised reliability checks of the models. In addition, we present novel data sets that can be used for benchmarking regression algorithms, conditional generative models, and uncertainty estimation methods in machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google