Multiresolution Graph Transformers and Wavelet Positional Encoding for Learning Hierarchical Structures

要約

現在のグラフ学習アルゴリズムは、高分子の分子特性を決定するために不可欠な原子間の階層的相互作用を考慮していないため、高分子に対しては明確に定義されていません。
この研究では、複数のスケールで大きな分子を表現することを学習できる初のグラフ トランスフォーマー アーキテクチャである、多重解像度グラフ トランスフォーマー (MGT) を提案します。
MGT は、原子の表現を作成し、それらを意味のある官能基または繰り返し単位にグループ化する方法を学習できます。
また、スペクトル領域と空間領域の両方で位置特定を保証できる新しい位置エンコーディング方式であるウェーブレット位置エンコーディング (WavePE) も紹介します。
私たちが提案したモデルは、ポリマーとペプチドからなる 2 つの高分子データセットと 1 つの薬物様分子データセットで競合する結果を達成しました。
重要なのは、私たちのモデルは他の最先端の方法よりも優れており、ポリマーデータセットの密度汎関数理論 (DFT) によって計算される分子特性 (GAP、HOMO、LUMO など) の推定において化学的精度を達成しています。
さらに、巨大分子とその表現の低次元空間に関するクラスタリング結果を含む視覚化は、長距離構造と階層構造を表現する学習における私たちの方法論の能力を実証します。
PyTorch 実装は https://github.com/HySonLab/Multires-Graph-Transformer で公開されています。

要約(オリジナル)

Contemporary graph learning algorithms are not well-defined for large molecules since they do not consider the hierarchical interactions among the atoms, which are essential to determine the molecular properties of macromolecules. In this work, we propose Multiresolution Graph Transformers (MGT), the first graph transformer architecture that can learn to represent large molecules at multiple scales. MGT can learn to produce representations for the atoms and group them into meaningful functional groups or repeating units. We also introduce Wavelet Positional Encoding (WavePE), a new positional encoding method that can guarantee localization in both spectral and spatial domains. Our proposed model achieves competitive results on two macromolecule datasets consisting of polymers and peptides, and one drug-like molecule dataset. Importantly, our model outperforms other state-of-the-art methods and achieves chemical accuracy in estimating molecular properties (e.g., GAP, HOMO and LUMO) calculated by Density Functional Theory (DFT) in the polymers dataset. Furthermore, the visualizations, including clustering results on macromolecules and low-dimensional spaces of their representations, demonstrate the capability of our methodology in learning to represent long-range and hierarchical structures. Our PyTorch implementation is publicly available at https://github.com/HySonLab/Multires-Graph-Transformer

arxiv情報

提供元, 利用サービス

arxiv.jp, Google