From Molecules to Materials: Pre-training Large Generalizable Models for Atomic Property Prediction

要約

基礎モデルは、自然言語処理やコンピューター ビジョンなどの機械学習分野で変革をもたらしてきました。
原子特性予測における同様の成功は、複数の化学ドメインにわたって効果的なモデルをトレーニングするという課題のため、限られています。
これに対処するために、ジョイント マルチドメイン事前トレーニング (JMP) を導入します。これは、異なる化学ドメインからの複数のデータセットを同時にトレーニングし、各データセットをマルチタスク フレームワーク内の固有の事前トレーニング タスクとして扱う教師あり事前トレーニング戦略です。
。
結合されたトレーニング データセットは、OC20、OC22、ANI-1x、Transition-1x の $\sim$120M システムで構成されています。
QM9、rMD17、MatBench、QMOF、SPICE、MD22 などのダウンストリーム タスクとデータセットの多様なセットを微調整することで、パフォーマンスと一般化を評価します。
JMP は、ゼロからトレーニングする場合と比べて平均 59% の向上を示し、40 タスク中 34 タスクで最先端のレベルに適合または設定します。
私たちの研究は、特にデータ量の少ないタスクにおいて、化学ドメイン全体の特性予測を進めるために多様なデータを利用する事前トレーニング戦略の可能性を浮き彫りにしています。

要約(オリジナル)

Foundation models have been transformational in machine learning fields such as natural language processing and computer vision. Similar success in atomic property prediction has been limited due to the challenges of training effective models across multiple chemical domains. To address this, we introduce Joint Multi-domain Pre-training (JMP), a supervised pre-training strategy that simultaneously trains on multiple datasets from different chemical domains, treating each dataset as a unique pre-training task within a multi-task framework. Our combined training dataset consists of $\sim$120M systems from OC20, OC22, ANI-1x, and Transition-1x. We evaluate performance and generalization by fine-tuning over a diverse set of downstream tasks and datasets including: QM9, rMD17, MatBench, QMOF, SPICE, and MD22. JMP demonstrates an average improvement of 59% over training from scratch, and matches or sets state-of-the-art on 34 out of 40 tasks. Our work highlights the potential of pre-training strategies that utilize diverse data to advance property prediction across chemical domains, especially for low-data tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google