Uni-Mol2: Exploring Molecular Pretraining Model at Scale

要約

近年、事前トレーニング モデルは、自然言語処理 (NLP)、コンピューター ビジョン (CV)、ライフ サイエンスの分野で大幅な進歩を遂げています。
NLP と CV の大幅な進歩は主にモデル パラメーターとデータ サイズの拡大によって推進されており、この現象は現在スケーリング則として認識されています。
ただし、分子の事前学習モデルにおけるスケーリング則を探求する研究は未開拓のままです。
この研究では、2 トラック変換器を活用して原子レベル、グラフ レベル、および幾何構造レベルで機能を効果的に統合する革新的な分子事前学習モデルである Uni-Mol2 を紹介します。
これに加えて、分子事前学習モデル内のスケーリング則を体系的に調査し、検証損失とモデル サイズ、データセット サイズ、および計算リソースの間のべき乗則の相関関係を特徴付けます。
その結果、Uni-Mol2 は 8 億個の立体配座の事前トレーニングを通じて 11 億パラメータにスケールアップすることに成功し、これまでで最大の分子事前トレーニング モデルとなっています。
広範な実験により、モデルのサイズが大きくなるにつれて下流のタスクが一貫して改善されることが示されています。
パラメータ 1.1B の Uni-Mol2 も既存の手法を上回り、QM9 データセットで平均 27%、COMPAS-1D データセットで 14% の改善を達成しました。

要約(オリジナル)

In recent years, pretraining models have made significant advancements in the fields of natural language processing (NLP), computer vision (CV), and life sciences. The significant advancements in NLP and CV are predominantly driven by the expansion of model parameters and data size, a phenomenon now recognized as the scaling laws. However, research exploring scaling law in molecular pretraining models remains unexplored. In this work, we present Uni-Mol2 , an innovative molecular pretraining model that leverages a two-track transformer to effectively integrate features at the atomic level, graph level, and geometry structure level. Along with this, we systematically investigate the scaling law within molecular pretraining models, characterizing the power-law correlations between validation loss and model size, dataset size, and computational resources. Consequently, we successfully scale Uni-Mol2 to 1.1 billion parameters through pretraining on 800 million conformations, making it the largest molecular pretraining model to date. Extensive experiments show consistent improvement in the downstream tasks as the model size grows. The Uni-Mol2 with 1.1B parameters also outperforms existing methods, achieving an average 27% improvement on the QM9 and 14% on COMPAS-1D dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google