GPS++: Reviving the Art of Message Passing for Molecular Property Prediction

要約

我々は、分子特性予測のためのメッセージパッシングニューラルネットワークとグラフトランスフォーマーのハイブリッドモデルであるGPS++を発表します。このモデルは、よく調整されたローカルメッセージパッシングコンポーネントと偏ったグローバルアテンションを、先行文献の他の重要なアイデアと統合し、大規模な分子データセットPCQM4Mv2において最先端の結果を達成しました。徹底的なアブレーション研究により、個々のコンポーネントの影響を明らかにし、グローバルな自己注意を使用しなくても、モデルのほぼすべての性能を維持できることを発見しました。これは、グラフ変換器の最近の優位性にもかかわらず、メッセージパッシングが3D分子特性予測にまだ競争力のあるアプローチであることを示します。また、3次元の位置情報が利用できない場合、本アプローチは先行技術よりも大幅に精度が向上することもわかりました。

要約(オリジナル)

We present GPS++, a hybrid Message Passing Neural Network / Graph Transformer model for molecular property prediction. Our model integrates a well-tuned local message passing component and biased global attention with other key ideas from prior literature to achieve state-of-the-art results on large-scale molecular dataset PCQM4Mv2. Through a thorough ablation study we highlight the impact of individual components and find that nearly all of the model’s performance can be maintained without any use of global self-attention, showing that message passing is still a competitive approach for 3D molecular property prediction despite the recent dominance of graph transformers. We also find that our approach is significantly more accurate than prior art when 3D positional information is not available.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL