Predicting Configuration Performance in Multiple Environments with Sequential Meta-learning

要約

与えられたソフトウェア構成のパフォーマンスを学習し予測することは、多くのソフトウェアエンジニアリング活動にとって非常に重要である。設定可能なソフトウェアシステムは、ほぼ間違いなく多様な実行環境（バージョン、ハードウェア、作業負荷など）に直面するが、現在の研究では、単一の環境下で性能モデルを構築するか、多様な設定からのデータを適切に扱えないことが多く、そのため新しい環境に対する精度が制限される。本論文では、複数の環境下での構成性能学習を目標とする。SeMPL（メタ学習フレームワーク）は、異なる（メタ）環境で測定されたコンフィギュレーションから共通理解を学習し、それらを予期しないターゲット環境に汎化する。このフレームワークの特徴は、メタ環境を並行して学習する一般的なメタ学習フレームワーク（MAMLやMetaSGDなど）とは異なり、メタ環境を1つずつ順次学習することである。この学習順序は、構築されたメタモデルにおけるメタ環境間の寄与を自然に識別することを可能にし、異なる環境間で劇的に異なることが知られている設定データの特徴によりよく適合する。9つのシステムの下で15の最新モデルと比較することにより、我々の広範な実験結果は、SeMPLがデータ効率に優れ、最大3.86倍のスピードアップをもたらしながら、最大99％の精度向上で89％のシステムでかなり優れた性能を発揮することを実証する。全てのコードとデータは我々のリポジトリhttps://github.com/ideas-labo/SeMPL。

要約(オリジナル)

Learning and predicting the performance of given software configurations are of high importance to many software engineering activities. While configurable software systems will almost certainly face diverse running environments (e.g., version, hardware, and workload), current work often either builds performance models under a single environment or fails to properly handle data from diverse settings, hence restricting their accuracy for new environments. In this paper, we target configuration performance learning under multiple environments. We do so by designing SeMPL – a meta-learning framework that learns the common understanding from configurations measured in distinct (meta) environments and generalizes them to the unforeseen, target environment. What makes it unique is that unlike common meta-learning frameworks (e.g., MAML and MetaSGD) that train the meta environments in parallel, we train them sequentially, one at a time. The order of training naturally allows discriminating the contributions among meta environments in the meta-model built, which fits better with the characteristic of configuration data that is known to dramatically differ between different environments. Through comparing with 15 state-of-the-art models under nine systems, our extensive experimental results demonstrate that SeMPL performs considerably better on 89% of the systems with up to 99% accuracy improvement, while being data-efficient, leading to a maximum of 3.86x speedup. All code and data can be found at our repository: https://github.com/ideas-labo/SeMPL.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL