StraightLine: An End-to-End Resource-Aware Scheduler for Machine Learning Application Requests

要約

機械学習 (ML) アプリケーションのライフ サイクルは、モデル開発とモデル デプロイの 2 つの段階で構成されます。
ただし、従来の ML システム (トレーニング固有のシステムや推論固有のシステムなど) は、ML アプリケーションのライフサイクルの 1 つの特定の段階またはフェーズに焦点を当てています。
これらのシステムは多くの場合、モデル トレーニングの最適化やモデル推論の高速化を目的としており、同種のインフラストラクチャを前提としていることが多く、クラウド データ センター、ローカル サーバー、コンテナ、サーバーレス プラットフォームなどの現実世界のシナリオを必ずしも反映しているとは限りません。
ハイブリッド インフラストラクチャ内のさまざまな ML アプリケーション リクエストに最適なリソース (コンテナー、仮想マシン、サーバーレスなど) をスケジュールする、エンドツーエンドのリソース認識スケジューラーである StraightLine を紹介します。
主要な革新は、リクエストの固有の特性 (リクエスト頻度、入力データ サイズ、データ分布など) に基づいてリクエストをインテリジェントに配置する、経験に基づく動的配置アルゴリズムです。
既存の ML システムとは対照的に、StraightLine はエンドツーエンドのリソースを意識した配置を提供するため、ハイブリッド インフラストラクチャ内のさまざまなコンピューティング リソースに直面した場合のモデル展開の応答時間と失敗率を大幅に削減できます。

要約(オリジナル)

The life cycle of machine learning (ML) applications consists of two stages: model development and model deployment. However, traditional ML systems (e.g., training-specific or inference-specific systems) focus on one particular stage or phase of the life cycle of ML applications. These systems often aim at optimizing model training or accelerating model inference, and they frequently assume homogeneous infrastructure, which may not always reflect real-world scenarios that include cloud data centers, local servers, containers, and serverless platforms. We present StraightLine, an end-to-end resource-aware scheduler that schedules the optimal resources (e.g., container, virtual machine, or serverless) for different ML application requests in a hybrid infrastructure. The key innovation is an empirical dynamic placing algorithm that intelligently places requests based on their unique characteristics (e.g., request frequency, input data size, and data distribution). In contrast to existing ML systems, StraightLine offers end-to-end resource-aware placement, thereby it can significantly reduce response time and failure rate for model deployment when facing different computing resources in the hybrid infrastructure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google