Reconciling High Accuracy, Cost-Efficiency, and Low Latency of Inference Serving Systems

要約

タイトル：推論プラットフォームの高い精度、コスト効率、低レイテンシを調整する

要約：

– 機械学習（ML）推論の使用は急速に増加しており、ユーザーと直接やり取りしなければならないML推論サービスでは迅速で正確なレスポンスが必要になる。
– また、これらのサービスでは、リクエストの動的なワークロードに対応するために、計算リソースを調整する必要がある。
– 計算リソースのサイズ調整に失敗すると、レイテンシサービスレベル目標（SLO）の違反や計算リソースの無駄になることがある。
– 精度、レイテンシ、コストの3つの要素を考慮した動的ワークロードへの適応は難しいため、InfAdapterを提案している。
– InfAdapterは、正確性とコストから構成される目的関数を最大化しながら、遅延SLOを満たすためのMLモデルのいくつかのバリアントとそのリソース割り当てをプロアクティブに選択する。
– 人気のある業界自動スケーラー（Kubernetes Vertical Pod Autoscaler）と比較して、InfAdapterはSLO違反とコストをそれぞれ最大で65％、33％削減できる。

要約(オリジナル)

The use of machine learning (ML) inference for various applications is growing drastically. ML inference services engage with users directly, requiring fast and accurate responses. Moreover, these services face dynamic workloads of requests, imposing changes in their computing resources. Failing to right-size computing resources results in either latency service level objectives (SLOs) violations or wasted computing resources. Adapting to dynamic workloads considering all the pillars of accuracy, latency, and resource cost is challenging. In response to these challenges, we propose InfAdapter, which proactively selects a set of ML model variants with their resource allocations to meet latency SLO while maximizing an objective function composed of accuracy and cost. InfAdapter decreases SLO violation and costs up to 65% and 33%, respectively, compared to a popular industry autoscaler (Kubernetes Vertical Pod Autoscaler).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI