GeoMFormer: A General Architecture for Geometric Molecular Representation Learning

要約

量子力学の中心的なトピックである分子モデリングは、分子システムの特性を正確に計算し、挙動をシミュレートすることを目的としています。
分子モデルは物理法則によって支配され、回転と並進を調整するために不変性や等価性などの幾何学的制約を課します。
これらの制約の下で分子表現を学習するために、多数の深層学習アプローチが開発されてきましたが、そのほとんどはヒューリスティックでコストのかかるモジュールに基づいて構築されています。
私たちは、不変特徴と等変特徴の両方を学習するための一般的で柔軟なフレームワークが強く必要であると主張します。
この研究では、この目標を達成するために、GeoMFormer と呼ばれる新しい Transformer ベースの分子モデルを導入します。
標準の Transformer モジュールを使用して、不変表現と等値表現を維持および学習するために 2 つの別個のストリームが開発されます。
慎重に設計されたクロスアテンション モジュールは 2 つのストリームを橋渡しし、情報の融合を可能にし、各ストリームの幾何学的モデリングを強化します。
一般的で柔軟なアーキテクチャとして、以前の多くのアーキテクチャが GeoMFormer の特別なインスタンス化と見なすことができることを示します。
GeoMFormer の能力を実証するために、広範な実験が行われています。
すべての経験的結果は、GeoMFormer が、さまざまなタイプとスケールの不変タスクと等変タスクの両方で優れたパフォーマンスを達成することを示しています。
コードとモデルは https://github.com/c-tl/GeoMFormer で公開されます。

要約(オリジナル)

Molecular modeling, a central topic in quantum mechanics, aims to accurately calculate the properties and simulate the behaviors of molecular systems. The molecular model is governed by physical laws, which impose geometric constraints such as invariance and equivariance to coordinate rotation and translation. While numerous deep learning approaches have been developed to learn molecular representations under these constraints, most of them are built upon heuristic and costly modules. We argue that there is a strong need for a general and flexible framework for learning both invariant and equivariant features. In this work, we introduce a novel Transformer-based molecular model called GeoMFormer to achieve this goal. Using the standard Transformer modules, two separate streams are developed to maintain and learn invariant and equivariant representations. Carefully designed cross-attention modules bridge the two streams, allowing information fusion and enhancing geometric modeling in each stream. As a general and flexible architecture, we show that many previous architectures can be viewed as special instantiations of GeoMFormer. Extensive experiments are conducted to demonstrate the power of GeoMFormer. All empirical results show that GeoMFormer achieves strong performance on both invariant and equivariant tasks of different types and scales. Code and models will be made publicly available at https://github.com/c-tl/GeoMFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google