MPI-rical: Data-Driven MPI Distributed Parallelism Assistance with Transformers

要約

メッセージ パッシング インターフェイス (MPI) は、複数のノードにわたる分散メモリの並列化において重要な役割を果たします。
ただし、MPI コードを手動で並列化すること、特にドメイン分解を実行することは、困難でエラーが発生しやすい作業です。
この論文では、プログラマがドメイン分解ベースの分散メモリ並列化コードを作成するのを支援する新しいデータ駆動型プログラミング支援ツールである MPI-RICAL を開発することで、この問題に対処します。
具体的には、教師あり言語モデルをトレーニングして、MPI 関数とコード内の適切な位置をその場で提案します。
また、GitHub 上の 15,000 以上のオープンソース リポジトリをマイニングして作成された、MPI ベースの並列プログラムの初の公開コーパスである MPICodeCorpus についても紹介します。
実験結果は MPICodeCorpus で行われ、さらに重要なことに、現実世界の科学的アプリケーションを表す数値計算用の MPI ベースの並列プログラムのコンパイル済みベンチマークで行われました。
MPI-RICAL は、これらのプログラムで 0.87 ～ 0.91 の F1 スコアを達成し、適切なコード位置で正しい MPI 関数を提案する精度を実証しています。この作業で使用されているソース コードおよび他の関連ソースは、https:/ で入手できます。
/github.com/Scientific-Computing-Lab-NRCN/MPI-rical

要約(オリジナル)

Message Passing Interface (MPI) plays a crucial role in distributed memory parallelization across multiple nodes. However, parallelizing MPI code manually, and specifically, performing domain decomposition, is a challenging, error-prone task. In this paper, we address this problem by developing MPI-RICAL, a novel data-driven, programming-assistance tool that assists programmers in writing domain decomposition based distributed memory parallelization code. Specifically, we train a supervised language model to suggest MPI functions and their proper locations in the code on the fly. We also introduce MPICodeCorpus, the first publicly available corpus of MPI-based parallel programs that is created by mining more than 15,000 open-source repositories on GitHub. Experimental results have been done on MPICodeCorpus and more importantly, on a compiled benchmark of MPI-based parallel programs for numerical computations that represent real-world scientific applications. MPI-RICAL achieves F1 scores between 0.87-0.91 on these programs, demonstrating its accuracy in suggesting correct MPI functions at appropriate code locations.. The source code used in this work, as well as other relevant sources, are available at: https://github.com/Scientific-Computing-Lab-NRCN/MPI-rical

arxiv情報

提供元, 利用サービス

arxiv.jp, Google