Insight Gained from Migrating a Machine Learning Model to Intelligence Processing Units

要約

この論文の発見は、知能処理ユニット (IPU) が、材料科学および電池研究の分野における機械学習 (ML) アプリケーションにおいて、GPU に代わる実行可能なアクセラレータを提供することを示しています。
私たちは、GPU から IPU にモデルを移行するプロセスを調査し、IPU ベースのモデルのパフォーマンスを向上させることを目的とした、パイプライン処理や勾配累積を含むいくつかの最適化手法を調査します。
さらに、特殊なモデルを IPU プラットフォームに効果的に移行しました。
このモデルは、電池の複数の充放電サイクルの性能を左右するイオン輸送プロセスにおいて重要なパラメータである有効導電率を予測するために使用されます。
このモデルは、畳み込みニューラル ネットワーク (CNN) アーキテクチャを利用して、効果的な導電率の予測タスクを実行します。
IPU でのこのモデルのパフォーマンスは、GPU での実行と同等であることがわかります。
また、Graphcore の Bow IPU の使用率とパフォーマンスも分析します。
ベンチマーク テストを通じて、前世代の Colossus IPU と比較して、Bow IPU のパフォーマンスが大幅に向上していることがわかりました。

要約(オリジナル)

The discoveries in this paper show that Intelligence Processing Units (IPUs) offer a viable accelerator alternative to GPUs for machine learning (ML) applications within the fields of materials science and battery research. We investigate the process of migrating a model from GPU to IPU and explore several optimization techniques, including pipelining and gradient accumulation, aimed at enhancing the performance of IPU-based models. Furthermore, we have effectively migrated a specialized model to the IPU platform. This model is employed for predicting effective conductivity, a parameter crucial in ion transport processes, which govern the performance of multiple charge and discharge cycles of batteries. The model utilizes a Convolutional Neural Network (CNN) architecture to perform prediction tasks for effective conductivity. The performance of this model on the IPU is found to be comparable to its execution on GPUs. We also analyze the utilization and performance of Graphcore’s Bow IPU. Through benchmark tests, we observe significantly improved performance with the Bow IPU when compared to its predecessor, the Colossus IPU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google