Managing ML-Based Application Non-Functional Behavior: A Multi-Model Approach

要約

最新のアプリケーションは、機械学習 (ML) モデルによってますます推進されており、その非決定的な動作は、設計から運用に至るアプリケーションのライフサイクル全体に影響を与えています。
ML の導入が広く普及しているため、ML ベースのアプリケーションの非機能的な動作を長期間にわたって、またモデルを変更しても安定して保証するアプローチが緊急に求められています。
この目的のために、プライバシー、機密性、公平性、説明可能性などの ML モデルの非機能特性を監視、検証、維持する必要があります。
最新のアプリケーションがエッジとクラウドの連続体で動作し、その複雑さと動的性が増大する場合、このニーズはさらに差し迫ったものになります。
既存のアプローチは主に、i) ML モデルの機能的動作に従って分類子選択ソリューションを実装すること、ii) 継続的な再トレーニングなど、このニーズに対する新しいアルゴリズム ソリューションを見つけることに重点を置いています。
この論文では、動的分類子の選択に基づいて構築されたマルチモデル アプローチを提案します。このアプローチでは、同様の非機能的プロパティを示す複数の ML モデルがアプリケーションで利用可能になり、(動的で予測不可能な) コンテキストの変化に応じて時間の経過とともに 1 つのモデルが選択されます。
当社のソリューションは、ML ベースのアプリケーションの安定した非機能的動作を継続的に保証し、さまざまな ML モデルに適用でき、モデルで評価された非機能的プロパティによって駆動されるアーキテクチャおよび方法論的なアプローチを提供することで、最先端を超えています。
彼ら自身。
これは、アプリケーションの運用中に機能する 2 段階のプロセスで構成されます。モデル評価では、開発時にトレーニングおよび選択された ML モデルの非機能プロパティを検証し、モデルの置換により、非機能プロパティの継続的かつ安定したサポートが保証されます。
私たちは、非機能プロパティの公平性に焦点を当て、現実世界のシナリオでソリューションを実験的に評価します。

要約(オリジナル)

Modern applications are increasingly driven by Machine Learning (ML) models whose non-deterministic behavior is affecting the entire application life cycle from design to operation. The pervasive adoption of ML is urgently calling for approaches that guarantee a stable non-functional behavior of ML-based applications over time and across model changes. To this aim, non-functional properties of ML models, such as privacy, confidentiality, fairness, and explainability, must be monitored, verified, and maintained. This need is even more pressing when modern applications operate in the edge-cloud continuum, increasing their complexity and dynamicity. Existing approaches mostly focus on i) implementing classifier selection solutions according to the functional behavior of ML models, ii) finding new algorithmic solutions to this need, such as continuous re-training. In this paper, we propose a multi-model approach built on dynamic classifier selection, where multiple ML models showing similar non-functional properties are made available to the application and one model is selected over time according to (dynamic and unpredictable) contextual changes. Our solution goes beyond the state of the art by providing an architectural and methodological approach that continuously guarantees a stable non-functional behavior of ML-based applications, is applicable to different ML models, and is driven by non-functional properties assessed on the models themselves. It consists of a two-step process working during application operation, where model assessment verifies non-functional properties of ML models trained and selected at development time, and model substitution guarantees a continuous and stable support of non-functional properties. We experimentally evaluate our solution in a real-world scenario focusing on non-functional property fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google