Predicting Software Performance with Divide-and-Learn

要約

高度に構成可能なソフトウェア システムのパフォーマンスを予測することは、パフォーマンス テストと品質保証の基礎です。
この目的を達成するために、最近の研究では、ソフトウェアのパフォーマンスをモデル化するために機械/深層学習に依存しています。
ただし、依然として解決されていない重要な課題は、構成環境から引き継がれた疎性、つまり構成オプション (機能) の影響とデータ サンプルの分布が非常に疎であることにどのように対応するかということです。
この論文では、$DaL$ と呼ばれる「分割学習」の概念に基づいたアプローチを提案します。
基本的な考え方は、サンプルの希薄性に対処するために、構成ランドスケープのサンプルを離れた部分に分割し、それぞれの部門に対して、機能の希薄性に対処するローカル モデルとして正規化されたディープ ニューラル ネットワークを構築するというものです。
新しく与えられた構成は、最終的な予測のために適切な除算モデルに割り当てられます。
8 つの実際のシステムと 5 セットのトレーニング データからの実験結果は、最先端のアプローチと比較して、$DaL$ が 40 ケース中 33 ケース (うち 26 ケース) において最良のアプローチと同等のパフォーマンスを発揮することを明らかにしています。
大幅に優れています) 精度が最大 $1.94\times$ 向上します。
同じ/より良い精度を達成するために必要なサンプルが少なくなります。
許容可能なトレーニングのオーバーヘッドが生成されます。
実際には、$DaL$ はさまざまなグローバル モデルを基礎となるローカル モデルとして使用する場合に大幅に改善し、柔軟性をさらに強化します。
オープン サイエンスを促進するために、この研究のすべてのデータ、コード、補足図はリポジトリ https://github.com/ideas-labo/DaL からアクセスできます。

要約(オリジナル)

Predicting the performance of highly configurable software systems is the foundation for performance testing and quality assurance. To that end, recent work has been relying on machine/deep learning to model software performance. However, a crucial yet unaddressed challenge is how to cater for the sparsity inherited from the configuration landscape: the influence of configuration options (features) and the distribution of data samples are highly sparse. In this paper, we propose an approach based on the concept of ‘divide-and-learn’, dubbed $DaL$. The basic idea is that, to handle sample sparsity, we divide the samples from the configuration landscape into distant divisions, for each of which we build a regularized Deep Neural Network as the local model to deal with the feature sparsity. A newly given configuration would then be assigned to the right model of division for the final prediction. Experiment results from eight real-world systems and five sets of training data reveal that, compared with the state-of-the-art approaches, $DaL$ performs no worse than the best counterpart on 33 out of 40 cases (within which 26 cases are significantly better) with up to $1.94\times$ improvement on accuracy; requires fewer samples to reach the same/better accuracy; and producing acceptable training overhead. Practically, $DaL$ also considerably improves different global models when using them as the underlying local models, which further strengthens its flexibility. To promote open science, all the data, code, and supplementary figures of this work can be accessed at our repository: https://github.com/ideas-labo/DaL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google