Hulk: Graph Neural Networks for Optimizing Regionally Distributed Computing Systems

要約

大規模なディープ ラーニング モデルは、さまざまなアプリケーションで優れた結果をもたらす大きな可能性を示しています。
ただし、トレーニング プロセスは、モデルのパラメーター サイズが非常に大きく、多くの場合、数千億のパラメーターで構成されるため、非常に困難な場合があります。
データ並列処理、テンソル並列処理、パイプライン並列処理などの一般的な分散トレーニング方法は、プロセス全体で大量のデータ通信を必要とするため、物理的に離れた分散システム内の一部のマシンの待機時間が長くなります。
この問題に対処するために、修正されたグラフ ニューラル ネットワークを利用して分散コンピューティング システムを最適化する Hulk と呼ばれる新しいソリューションを提案します。
Hulk は、異なる国や同じ都市内の異なる地域間のデータ通信効率を最適化するだけでなく、モデルの最適な分散展開を並行して提供します。
たとえば、特定のリージョンのマシンに特定のレイヤーを配置したり、特定の場所にあるマシンにモデルの特定のパラメーターを渡したりできます。
Hulk を実験に使用することで、分散システムで大規模なディープ ラーニング モデルをトレーニングする時間効率を 20\% 以上改善することができました。
ラベルのないデータのオープン ソース コレクション:https://github.com/DLYuanGod/Hulk。

要約(オリジナル)

Large deep learning models have shown great potential for delivering exceptional results in various applications. However, the training process can be incredibly challenging due to the models’ vast parameter sizes, often consisting of hundreds of billions of parameters. Common distributed training methods, such as data parallelism, tensor parallelism, and pipeline parallelism, demand significant data communication throughout the process, leading to prolonged wait times for some machines in physically distant distributed systems. To address this issue, we propose a novel solution called Hulk, which utilizes a modified graph neural network to optimize distributed computing systems. Hulk not only optimizes data communication efficiency between different countries or even different regions within the same city, but also provides optimal distributed deployment of models in parallel. For example, it can place certain layers on a machine in a specific region or pass specific parameters of a model to a machine in a particular location. By using Hulk in experiments, we were able to improve the time efficiency of training large deep learning models on distributed systems by more than 20\%. Our open source collection of unlabeled data:https://github.com/DLYuanGod/Hulk.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google