Autothrottle: A Practical Bi-Level Approach to Resource Management for SLO-Targeted Microservices

要約

タイトル：Autothrottle：SLOターゲティングマイクロサービスのリソース管理に対する実用的な2層アプローチ

要約：
– クラウドアプリケーションがマイクロサービスを採用するにつれ、リソース管理者はエンドユーザーエクスペリエンスを保持しながら、リソース効率を実現する必要がある。
– エンドユーザーアプリケーションのレイテンシーとサービスのリソース使用量の2つの異なるレベルがあるため、これら2つのレベル間の翻訳は困難である。
– この論文では、SLOターゲティングマイクロサービスのための学習支援リソース管理フレームワークであるAutothrottleを提案する。
– Autothrottleは、アプリケーションSLOフィードバック機構とサービスリソース制御機構をアーキテクチャ的に分離して、パフォーマンスターゲットの概念でつなぎ合わせる。
– この分離により、これら2つの機構のターゲティング制御ポリシーを組み合わせることができる。Autothrottleは、軽量なヒューリスティックと学習技術を組み合わせたものである。
– 3つのマイクロサービスアプリケーションでAutothrottleを評価し、プロダクションシナリオからのワークロードトレースを使用した。結果は、最高のベースラインに比べ、CPUリソースの節約率が26.21％、すべてのベースラインに比べて93.84％優れていることを示している。

要約(オリジナル)

Achieving resource efficiency while preserving end-user experience is non-trivial for cloud application operators. As cloud applications progressively adopt microservices, resource managers are faced with two distinct levels of system behavior: the end-to-end application latency and per-service resource usage. Translation between these two levels, however, is challenging because user requests traverse heterogeneous services that collectively (but unevenly) contribute to the end-to-end latency. This paper presents Autothrottle, a bi-level learning-assisted resource management framework for SLO-targeted microservices. It architecturally decouples mechanisms of application SLO feedback and service resource control, and bridges them with the notion of performance targets. This decoupling enables targeted control policies for these two mechanisms, where we combine lightweight heuristics and learning techniques. We evaluate Autothrottle on three microservice applications, with workload traces from production scenarios. Results show its superior CPU resource saving, up to 26.21% over the best-performing baseline, and up to 93.84% over all baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI