Continuous Management of Machine Learning-Based Application Behavior

要約

最新のアプリケーションは、機械学習 (ML) モデルによってますます推進されており、その非決定的な動作は、設計から運用に至るアプリケーションのライフサイクル全体に影響を与えています。
ML の導入が広く普及しているため、ML ベースのアプリケーションの非機能的な動作を長期間にわたって、またモデルを変更しても安定して保証するアプローチが緊急に求められています。
この目的のために、プライバシー、機密性、公平性、説明可能性などの ML モデルの非機能特性を監視、検証、維持する必要があります。
既存のアプローチは主に、i) ML モデルの機能的動作に応じた分類子選択のソリューションの実装、ii) 継続的な再トレーニングなどの新しいアルゴリズム ソリューションの発見に焦点を当てています。
このペーパーでは、ML ベースのアプリケーションの安定した非機能的な動作を保証することを目的としたマルチモデル アプローチを提案します。
同様の非機能的特性を示す複数の ML モデルを比較し、(動的で予測不可能な) コンテキストの変化に応じて長期にわたる安定した非機能的動作をサポートするモデルを選択するための、アーキテクチャ的および方法論的なアプローチが提供されます。
私たちのアプローチは、ML ベースのアプリケーションの安定した非機能的動作を継続的に保証し、ML アルゴリズムに依存せず、ML モデル自体で評価された非機能的プロパティによって駆動されるソリューションを提供することで、最先端技術を超えています。
これは、アプリケーションの運用中に機能する 2 段階のプロセスで構成されます。モデル評価では、開発時にトレーニングおよび選択された ML モデルの非機能的プロパティが検証され、モデルの置換により、非機能的プロパティの継続的かつ安定したサポートが保証されます。
私たちは、非機能プロパティの公平性に焦点を当て、現実世界のシナリオでソリューションを実験的に評価します。

要約(オリジナル)

Modern applications are increasingly driven by Machine Learning (ML) models whose non-deterministic behavior is affecting the entire application life cycle from design to operation. The pervasive adoption of ML is urgently calling for approaches that guarantee a stable non-functional behavior of ML-based applications over time and across model changes. To this aim, non-functional properties of ML models, such as privacy, confidentiality, fairness, and explainability, must be monitored, verified, and maintained. Existing approaches mostly focus on i) implementing solutions for classifier selection according to the functional behavior of ML models, ii) finding new algorithmic solutions, such as continuous re-training. In this paper, we propose a multi-model approach that aims to guarantee a stable non-functional behavior of ML-based applications. An architectural and methodological approach is provided to compare multiple ML models showing similar non-functional properties and select the model supporting stable non-functional behavior over time according to (dynamic and unpredictable) contextual changes. Our approach goes beyond the state of the art by providing a solution that continuously guarantees a stable non-functional behavior of ML-based applications, is ML algorithm-agnostic, and is driven by non-functional properties assessed on the ML models themselves. It consists of a two-step process working during application operation, where model assessment verifies non-functional properties of ML models trained and selected at development time, and model substitution guarantees continuous and stable support of non-functional properties. We experimentally evaluate our solution in a real-world scenario focusing on non-functional property fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google