High-performance training and inference for deep equivariant interatomic potentials

要約

機械学習間能力間、特に深い等量のニューラルネットワークに基づく可能性は、分子動力学やハイスループットスクリーニングなどの原子モデリングタスクにおける最先端の精度と計算効率を実証しています。
データセットのサイズとダウンストリームワークフローの需要は急速に成長しており、堅牢でスケーラブルなソフトウェアが不可欠になっています。
この作業は、マルチノードの並列性、計算パフォーマンス、および拡張性に焦点を当てたNequipフレームワークの大きなオーバーホールを提示します。
再設計されたフレームワークは、大規模なデータセットでの分散トレーニングをサポートし、障壁を削除して、電車の時点でPytorch 2.0コンパイラの完全な利用を妨げます。
有機分子システムのSPICE 2データセットでアレグロモデルをトレーニングすることにより、ケーススタディでこの加速を実証します。
推論のために、機械学習間のポテンシャルにPytorchの先行インダクタコンパイラを使用する最初のエンドツーエンドインフラストラクチャを紹介します。
さらに、Allegroモデルの最も高価な操作であるテンソル製品にカスタムカーネルを実装します。
一緒に、これらの進歩は、最大18倍の実用的な関連性のシステムサイズに関する分子動力学計算をスピードアップします。

要約(オリジナル)

Machine learning interatomic potentials, particularly those based on deep equivariant neural networks, have demonstrated state-of-the-art accuracy and computational efficiency in atomistic modeling tasks like molecular dynamics and high-throughput screening. The size of datasets and demands of downstream workflows are growing rapidly, making robust and scalable software essential. This work presents a major overhaul of the NequIP framework focusing on multi-node parallelism, computational performance, and extensibility. The redesigned framework supports distributed training on large datasets and removes barriers preventing full utilization of the PyTorch 2.0 compiler at train time. We demonstrate this acceleration in a case study by training Allegro models on the SPICE 2 dataset of organic molecular systems. For inference, we introduce the first end-to-end infrastructure that uses the PyTorch Ahead-of-Time Inductor compiler for machine learning interatomic potentials. Additionally, we implement a custom kernel for the Allegro model’s most expensive operation, the tensor product. Together, these advancements speed up molecular dynamics calculations on system sizes of practical relevance by up to a factor of 18.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google