GeoT: A Geometry-aware Transformer for Reliable Molecular Property Prediction and Chemically Interpretable Representation Learning

要約

近年、分子表現の学習は、さまざまな化学タスクにおいて重点が置かれている分野として浮上しています。
しかし、既存のモデルの多くは分子構造の幾何学的情報を十分に考慮できていないため、直感的な表現が得られません。
さらに、広く使用されているメッセージ送信メカニズムは、化学的な観点から実験結果を解釈するために限定されています。
これらの課題に対処するために、Geometry-aware Transformer (GeoT) と呼ばれる、分子表現学習のための新しい Transformer ベースのフレームワークを導入します。
GeoT は、信頼性の高い解釈可能性と分子特性の予測を提供するように特別に設計された注意ベースのメカニズムを通じて分子グラフ構造を学習します。
その結果、GeoT はトレーニング目標に関連付けられた原子間関係のアテンション マップを生成できます。
さらに、GeoT は、計算の複雑さの軽減を達成しながら、MPNN ベースのモデルと同等のパフォーマンスを示します。
実証的シミュレーションを含む私たちの包括的な実験により、GeoT が分子構造に対する化学的洞察を効果的に学習し、人工知能と分子科学の間のギャップを埋めることが明らかになりました。

要約(オリジナル)

In recent years, molecular representation learning has emerged as a key area of focus in various chemical tasks. However, many existing models fail to fully consider the geometric information of molecular structures, resulting in less intuitive representations. Moreover, the widely used message-passing mechanism is limited to provide the interpretation of experimental results from a chemical perspective. To address these challenges, we introduce a novel Transformer-based framework for molecular representation learning, named the Geometry-aware Transformer (GeoT). GeoT learns molecular graph structures through attention-based mechanisms specifically designed to offer reliable interpretability, as well as molecular property prediction. Consequently, GeoT can generate attention maps of interatomic relationships associated with training objectives. In addition, GeoT demonstrates comparable performance to MPNN-based models while achieving reduced computational complexity. Our comprehensive experiments, including an empirical simulation, reveal that GeoT effectively learns the chemical insights into molecular structures, bridging the gap between artificial intelligence and molecular sciences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google