Curvature-based Transformer for Molecular Property Prediction

要約

分子特性の予測は、人工知能ベースの医薬品設計の分野において最も重要かつ困難なタスクの 1 つです。
現在の主流の方法の中で、DNN モデルのトレーニングに最も一般的に使用されている特徴表現は SMILES と分子グラフに基づいています。これらの方法は簡潔で効果的ですが、空間情報を取得する能力も制限されます。
この研究では、Ricci Curvature の離散化を導入することで分子グラフ データの構造情報を抽出する Graph Transformer ニューラル ネットワーク モデルの能力を向上させる Curvature-based Transformer を提案します。
曲率をモデルに埋め込むには、アテンション スコアの計算中に、グラフの曲率情報を位置エンコーディングとしてノード フィーチャに追加します。
この手法は、元のネットワークアーキテクチャを変更することなく、グラフデータから曲率情報を導入することができ、他のモデルへの拡張可能性を秘めています。
PCQM4M-LST、MoleculeNet などの化学分子データセットで実験を実行し、Uni-Mol、Graphormer などのモデルと比較した結果、この方法が最先端の結果を達成できることが示されました。
離散化されたリッチ曲率は、グラフ分子データの局所幾何学形状を記述しながら、構造的および機能的関係も反映していることが証明されています。

要約(オリジナル)

The prediction of molecular properties is one of the most important and challenging tasks in the field of artificial intelligence-based drug design. Among the current mainstream methods, the most commonly used feature representation for training DNN models is based on SMILES and molecular graphs, although these methods are concise and effective, they also limit the ability to capture spatial information. In this work, we propose Curvature-based Transformer to improve the ability of Graph Transformer neural network models to extract structural information on molecular graph data by introducing Discretization of Ricci Curvature. To embed the curvature in the model, we add the curvature information of the graph as positional Encoding to the node features during the attention-score calculation. This method can introduce curvature information from graph data without changing the original network architecture, and it has the potential to be extended to other models. We performed experiments on chemical molecular datasets including PCQM4M-LST, MoleculeNet and compared with models such as Uni-Mol, Graphormer, and the results show that this method can achieve the state-of-the-art results. It is proved that the discretized Ricci curvature also reflects the structural and functional relationship while describing the local geometry of the graph molecular data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google