Analytically-Driven Resource Management for Cloud-Native Microservices

要約

クラウドネイティブのマイクロサービスのリソース管理は、最近大きな注目を集めています。
これまでの研究では、機械学習 (ML) 主導のアプローチが、SLA の維持とリソース効率の両方の点で、自動スケーリングなどの従来の手法よりも優れていることが示されています。
ただし、ML 主導のアプローチは、長時間にわたるデータ収集プロセスやスケーラビリティの制限などの課題にも直面しています。
これらの課題に対処する、クラウドネイティブ マイクロサービス用の軽量リソース管理システムである Ursa を紹介します。
Ursa は、エンドツーエンドの SLA をサービスごとの SLA に分解し、サービスごとの SLA をマイクロサービス層ごとの個別のリソース割り当てにマッピングする分析モデルを使用します。
探索プロセスを高速化し、長期にわたる SLA 違反を回避するために、Ursa は各マイクロサービスを個別に探索し、レイテンシが SLA を超えた場合には探索を迅速に停止します。
ソーシャル ネットワーク、メディア サービス、ビデオ処理パイプラインを含む一連の代表的なエンドツーエンドのマイクロサービス トポロジで Ursa を評価し、それぞれが異なる SLA を持つリクエストの複数のクラスと優先順位で構成され、2 つの代表的な ML と比較します。
駆動システム、Sinan と Firm。
これらの ML 主導のアプローチと比較して、Ursa には大きな利点があります。データ収集プロセスが 128 倍以上短縮され、コントロール プレーンは ML 主導のアプローチより 43 倍高速です。
同時に、Ursa はリソース効率や SLA を犠牲にすることはありません。
オンライン展開中、Ursa は ML 主導のアプローチと比較して、SLA 違反率を 9.0% から最大 49.9% まで削減し、CPU 割り当てを最大 86.2% 削減します。

要約(オリジナル)

Resource management for cloud-native microservices has attracted a lot of recent attention. Previous work has shown that machine learning (ML)-driven approaches outperform traditional techniques, such as autoscaling, in terms of both SLA maintenance and resource efficiency. However, ML-driven approaches also face challenges including lengthy data collection processes and limited scalability. We present Ursa, a lightweight resource management system for cloud-native microservices that addresses these challenges. Ursa uses an analytical model that decomposes the end-to-end SLA into per-service SLA, and maps per-service SLA to individual resource allocations per microservice tier. To speed up the exploration process and avoid prolonged SLA violations, Ursa explores each microservice individually, and swiftly stops exploration if latency exceeds its SLA. We evaluate Ursa on a set of representative and end-to-end microservice topologies, including a social network, media service and video processing pipeline, each consisting of multiple classes and priorities of requests with different SLAs, and compare it against two representative ML-driven systems, Sinan and Firm. Compared to these ML-driven approaches, Ursa provides significant advantages: It shortens the data collection process by more than 128x, and its control plane is 43x faster than ML-driven approaches. At the same time, Ursa does not sacrifice resource efficiency or SLAs. During online deployment, Ursa reduces the SLA violation rate by 9.0% up to 49.9%, and reduces CPU allocation by up to 86.2% compared to ML-driven approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google