DLRover-RM: Resource Optimization for Deep Recommendation Models Training in the Cloud

要約

ディープ ラーニング レコメンデーション モデル (DLRM) は、大規模な埋め込みテーブルに依存してカテゴリカル スパース特徴を管理します。
このような埋め込みテーブルを拡張すると、モデルのパフォーマンスが大幅に向上しますが、その代償として GPU/CPU/メモリの使用量が増加します。
一方、テクノロジー企業は、大規模な DLRM モデルのトレーニングを加速するために、広範なクラウドベースのサービスを構築しました。
このペーパーでは、AntGroup の DLRM トレーニング プラットフォームの詳細な調査を実施し、2 つの重大な課題を明らかにしました。それは、ユーザーによる最適ではない構成によるリソース使用率の低下と、不安定なクラウド環境による異常に遭遇する傾向です。
これらを克服するために、リソース使用率を高め、クラウド環境の不安定性に対処するように設計された DLRM 用の柔軟なトレーニング フレームワークである DLRover-RM を導入します。
DLRover-RM は、DLRM の固有の特性を考慮したリソース パフォーマンス モデルと、リソース使用率を高めるために DLRM トレーニング ジョブにリソースを自動的に割り当てて動的に調整する 3 段階のヒューリスティック戦略を開発します。
さらに、DLRover-RM は、DLRM トレーニング ジョブの効率的かつ信頼性の高い実行を保証するための複数のメカニズムを開発します。
当社の広範な評価によると、DLRover-RM は、最先端のリソースと比較して、ジョブ完了時間を 31% 短縮し、ジョブ完了率を 6% 向上させ、CPU 使用率を 15% 向上させ、メモリ使用率を 20% 向上させました。
スケジュールのフレームワーク。
DLRover-RM は AntGroup で広く導入されており、毎日数千の DLRM トレーニング ジョブを処理しています。
DLRover-RM はオープンソースであり、10 社以上で採用されています。

要約(オリジナル)

Deep learning recommendation models (DLRM) rely on large embedding tables to manage categorical sparse features. Expanding such embedding tables can significantly enhance model performance, but at the cost of increased GPU/CPU/memory usage. Meanwhile, tech companies have built extensive cloud-based services to accelerate training DLRM models at scale. In this paper, we conduct a deep investigation of the DLRM training platforms at AntGroup and reveal two critical challenges: low resource utilization due to suboptimal configurations by users and the tendency to encounter abnormalities due to an unstable cloud environment. To overcome them, we introduce DLRover-RM, an elastic training framework for DLRMs designed to increase resource utilization and handle the instability of a cloud environment. DLRover-RM develops a resource-performance model by considering the unique characteristics of DLRMs and a three-stage heuristic strategy to automatically allocate and dynamically adjust resources for DLRM training jobs for higher resource utilization. Further, DLRover-RM develops multiple mechanisms to ensure efficient and reliable execution of DLRM training jobs. Our extensive evaluation shows that DLRover-RM reduces job completion times by 31%, increases the job completion rate by 6%, enhances CPU usage by 15%, and improves memory utilization by 20%, compared to state-of-the-art resource scheduling frameworks. DLRover-RM has been widely deployed at AntGroup and processes thousands of DLRM training jobs on a daily basis. DLRover-RM is open-sourced and has been adopted by 10+ companies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google