An Analysis of Collocation on GPUs for Deep Learning Training

要約

タイトル：Deep LearningトレーニングにおけるGPUにおけるコロケーションの分析
要約：
– Deep Learningトレーニングは、GPUを広範に使用する高価なプロセスです。
– NVIDIAによって導入されたMulti-Instance GPU（MIG）は、全てのメモリと計算リソースを必要としないワークロードに合わせてGPUを分割する新しいテクノロジーです。
– この論文では、さまざまなモデルのサイズと組み合わせを含むDeep LearningワークロードのMIG対応A100 GPUのパフォーマンスを検討しています。
– 我々の結果は、複数のモデルトレーニングランをコロケートすることで、大幅な恩恵をもたらすことがあり、場合によってはエポック時間の増加にもかかわらずトレーニングスループットを最大4倍まで向上させることができることを示しています。
– ただし、並列にトレーニングされるモデルの集計メモリフットプリントと計算ニーズはGPUの利用可能なメモリと計算リソースに合わせて調整する必要があります。
– MIGの干渉のないパーティションによる恩恵は、モデルのサイズがMIGのパーティショニングオプションに合わせている場合に特に有益であるかもしれませんが、MIGの厳格なパーティショニングはより動的な混合ワークロードに対してサブオプティマルなGPUの利用を作成する可能性があります。
– 一般的に、シングルユーザーがトレーニングジョブを提出する場合、コロケーションの最も柔軟で最高のパフォーマンスの形式としてMPSを推奨します。

要約(オリジナル)

Deep learning training is an expensive process that extensively uses GPUs, but not all model training saturates modern powerful GPUs. Multi-Instance GPU (MIG) is a new technology introduced by NVIDIA that can partition a GPU to better-fit workloads that do not require all the memory and compute resources of a full GPU. In this paper, we examine the performance of a MIG-enabled A100 GPU under deep learning workloads containing various sizes and combinations of models. We contrast the benefits of MIG to older workload collocation methods on GPUs: na\’ively submitting multiple processes on the same GPU and utilizing Multi-Process Service (MPS). Our results demonstrate that collocating multiple model training runs may yield significant benefits. In certain cases, it can lead up to four times training throughput despite increased epoch time. On the other hand, the aggregate memory footprint and compute needs of the models trained in parallel must fit the available memory and compute resources of the GPU. MIG can be beneficial thanks to its interference-free partitioning, especially when the sizes of the models align with the MIG partitioning options. MIG’s rigid partitioning, however, may create sub-optimal GPU utilization for more dynamic mixed workloads. In general, we recommend MPS as the best performing and most flexible form of collocation for model training for a single user submitting training jobs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI