Towards Foundational Models for Molecular Learning on Large-Scale Multi-Task Datasets

要約

最近、事前トレーニングされた基礎モデルにより、複数の分野で大幅な進歩が可能になりました。
しかし、分子機械学習では、データセットが手作業でキュレーションされることが多く、したがって通常は小規模であるため、ラベル付きの特徴を備えたデータセットや、それらのデータセットを管理するコードベースが不足しているため、基礎モデルの開発が妨げられてきました。
この研究では、サイズによって ToyMix、LargeMix、UltraLarge の 3 つの異なるカテゴリに分類された 7 つの新しいデータセットを紹介します。
これらのデータセットは、分子学習のための教師ありラベルの規模と多様性の両方において限界を押し広げます。
それらは 1 億近くの分子と 3,000 を超える疎に定義されたタスクをカバーし、量子的性質と生物学的性質の両方の合計 130 億以上の個々のラベルをカバーします。
比較すると、私たちのデータセットには、広く使用されている OGB-LSC PCQM4Mv2 データセットの 300 倍、量子専用 QM1B データセットの 13 倍のデータ ポイントが含まれています。
さらに、提案したデータセットに基づく基礎モデルの開発をサポートするために、マルチタスクおよびマルチレベル分子データセットの分子機械学習モデルの構築およびトレーニングのプロセスを簡素化する Graphium グラフ機械学習ライブラリを紹介します。
最後に、これらのデータセットに対するマルチタスクおよびマルチレベル トレーニングの開始点として、さまざまなベースライン結果を示します。
経験的に、大量の量子データでもトレーニングすることにより、低リソースの生物学的データセットのパフォーマンスが向上することが観察されています。
これは、基礎モデルのマルチタスクおよびマルチレベルのトレーニングと、リソースに制約のある下流タスクに合わせて微調整する可能性があることを示しています。

要約(オリジナル)

Recently, pre-trained foundation models have enabled significant advancements in multiple fields. In molecular machine learning, however, where datasets are often hand-curated, and hence typically small, the lack of datasets with labeled features, and codebases to manage those datasets, has hindered the development of foundation models. In this work, we present seven novel datasets categorized by size into three distinct categories: ToyMix, LargeMix and UltraLarge. These datasets push the boundaries in both the scale and the diversity of supervised labels for molecular learning. They cover nearly 100 million molecules and over 3000 sparsely defined tasks, totaling more than 13 billion individual labels of both quantum and biological nature. In comparison, our datasets contain 300 times more data points than the widely used OGB-LSC PCQM4Mv2 dataset, and 13 times more than the quantum-only QM1B dataset. In addition, to support the development of foundational models based on our proposed datasets, we present the Graphium graph machine learning library which simplifies the process of building and training molecular machine learning models for multi-task and multi-level molecular datasets. Finally, we present a range of baseline results as a starting point of multi-task and multi-level training on these datasets. Empirically, we observe that performance on low-resource biological datasets show improvement by also training on large amounts of quantum data. This indicates that there may be potential in multi-task and multi-level training of a foundation model and fine-tuning it to resource-constrained downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google