On the Scalability of GNNs for Molecular Graphs

要約

深層学習モデルのスケーリングは、言語モデリングと画像生成における最近の革命の中心となっています。
専門家は、モデル サイズ、データセット サイズ、パフォーマンスの間に強い関係があることを観察しています。
ただし、グラフ ニューラル ネットワーク (GNN) などの構造ベースのアーキテクチャは、スパース操作の効率の低下、大規模なデータ要件、およびさまざまなアーキテクチャの有効性が明確でないことが主な原因として、まだスケールの利点を示していません。
私たちは、GNN のスケーリング動作を研究することで、GNN のこの欠点に対処します。
具体的には、2D 分子グラフの最大のパブリック コレクションでメッセージ パッシング ネットワーク、グラフ トランスフォーマー、およびハイブリッド アーキテクチャを分析します。
深さ、幅、分子の数、ラベルの数、および事前トレーニング データセットの多様性のスケールの増加から GNN が多大な恩恵を受けていることが初めて観察され、その結果、10 億のパラメータと 28.98 個のパラメータにスケールした場合に 30.25% の改善が得られました。
データセットのサイズを 8 倍に増加した場合の % の改善。
さらに、38 のタスクで強力な微調整スケーリング動作を実証し、以前の大規模モデルを上回りました。
私たちの取り組みが、基礎的な GNN が医薬品の創薬を推進する時代への道を切り開くことを願っています。

要約(オリジナル)

Scaling deep learning models has been at the heart of recent revolutions in language modelling and image generation. Practitioners have observed a strong relationship between model size, dataset size, and performance. However, structure-based architectures such as Graph Neural Networks (GNNs) are yet to show the benefits of scale mainly due to the lower efficiency of sparse operations, large data requirements, and lack of clarity about the effectiveness of various architectures. We address this drawback of GNNs by studying their scaling behavior. Specifically, we analyze message-passing networks, graph Transformers, and hybrid architectures on the largest public collection of 2D molecular graphs. For the first time, we observe that GNNs benefit tremendously from the increasing scale of depth, width, number of molecules, number of labels, and the diversity in the pretraining datasets, resulting in a 30.25% improvement when scaling to 1 billion parameters and 28.98% improvement when increasing size of dataset to eightfold. We further demonstrate strong finetuning scaling behavior on 38 tasks, outclassing previous large models. We hope that our work paves the way for an era where foundational GNNs drive pharmaceutical drug discovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google