要約
サーバーレス コンピューティングは、開発者をリソース管理の負担から解放し、ユーザーに使いやすさを提供し、プロバイダーにリソース使用率を最適化する機会を提供します。
ただし、今日のサーバーレス システムには関数呼び出しのパフォーマンスが保証されていないため、パフォーマンスが重要なアプリケーションのサポートが制限されています。深刻なパフォーマンスの変動 (最大 6 倍) が観察されました。
プロバイダーはユーザー機能を把握できないため、適切なサイズに設定することが困難であると感じています。リソースの過小利用 (最大 80%) が観察されました。
パフォーマンスの変動と十分な活用の背後にある原因を理解するために、一般的にデプロイされているサーバーレス関数の測定調査を実施したところ、関数のパフォーマンスとリソース使用率は関数のセマンティクスと入力に大きく依存していることがわかりました。
私たちの重要な洞察は、関数の入力が利用可能になるまでリソース割り当ての決定を遅らせることです。
サーバーレス システム用のリソース管理フレームワークである Shabari を紹介します。これは、関数のパフォーマンス目標 (SLO) を達成し、リソースの使用率を向上させるために、各呼び出しのサイズを適切にするための決定をできるだけ遅く行うものです。
Shabari は、オンライン学習エージェントを使用して、関数入力の特徴に基づいて各関数呼び出しのサイズを適切に調整し、コールドスタートを意識したスケジューリング決定を行います。
Shabari は、Aquatope などの最先端のシステムと比較して、さまざまなサーバーレス機能と入力に対して SLO 違反を 11 ～ 73% 削減しながら、vCPU を無駄にせず、無駄なメモリを中央値で 64 ～ 94% 削減します。
、ブダイ、ヒノキ。
要約(オリジナル)
Serverless computing relieves developers from the burden of resource management, thus providing ease-of-use to the users and the opportunity to optimize resource utilization for the providers. However, today’s serverless systems lack performance guarantees for function invocations, thus limiting support for performance-critical applications: we observed severe performance variability (up to 6x). Providers lack visibility into user functions and hence find it challenging to right-size them: we observed heavy resource underutilization (up to 80%). To understand the causes behind the performance variability and underutilization, we conducted a measurement study of commonly deployed serverless functions and learned that the function performance and resource utilization depend crucially on function semantics and inputs. Our key insight is to delay making resource allocation decisions until after the function inputs are available. We introduce Shabari, a resource management framework for serverless systems that makes decisions as late as possible to right-size each invocation to meet functions’ performance objectives (SLOs) and improve resource utilization. Shabari uses an online learning agent to right-size each function invocation based on the features of the function input and makes cold-start-aware scheduling decisions. For a range of serverless functions and inputs, Shabari reduces SLO violations by 11-73% while not wasting any vCPUs and reducing wasted memory by 64-94% in the median case, compared to state-of-the-art systems, including Aquatope, Parrotfish, and Cypress.
arxiv情報
| 著者 | Prasoon Sinha,Kostis Kaffes,Neeraja J. Yadwadkar |
| 発行日 | 2024-01-25 16:34:22+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google