Combining GCN Structural Learning with LLM Chemical Knowledge for or Enhanced Virtual Screening

要約

仮想スクリーニングは、実験的検証のために有望な候補分子の識別を可能にすることにより、現代の創薬において重要な役割を果たします。
サポートベクターマシン（SVM）やXgboostなどの従来の機械学習方法は、事前定義された分子表現に依存しており、多くの場合、情報の損失や潜在的なバイアスにつながります。
対照的に、ディープラーニングは、分子グラフで直接動作することにより、より表現力豊かで偏りのない代替手段を提供する特にグラフ畳み込みネットワーク（GCNS）にアプローチします。
一方、大規模な言語モデル（LLM）は、注意メカニズムを介して大規模なデータから複雑な化学パターンをキャプチャする能力のおかげで、最近、薬物設計の最先端のパフォーマンスを実証しました。
この論文では、GCNをLLM由来の埋め込みと統合して、局所的な構造学習とグローバルな化学知識を組み合わせたハイブリッドアーキテクチャを提案します。
LLM埋め込みは、分子特徴ライブラリに事前計算および保存され、トレーニングまたは推論中にLLMを再実行する必要性を削除し、計算効率を維持できます。
最終的なレイヤーでのみ、各GCNレイヤーラーザーの後にLLM埋め込みを連結すると、パフォーマンスが向上し、ネットワーク全体のグローバルコンテキストをより深く統合できることがわかりました。
結果として得られるモデルは、F1スコア（88.8％）、スタンドアロンGCN（87.9％）、XGBoost（85.5％）、およびSVM（85.4％）のベースラインを上回る優れた結果を達成します。

要約(オリジナル)

Virtual screening plays a critical role in modern drug discovery by enabling the identification of promising candidate molecules for experimental validation. Traditional machine learning methods such as support vector machines (SVM) and XGBoost rely on predefined molecular representations, often leading to information loss and potential bias. In contrast, deep learning approaches-particularly Graph Convolutional Networks (GCNs)-offer a more expressive and unbiased alternative by operating directly on molecular graphs. Meanwhile, Large Language Models (LLMs) have recently demonstrated state-of-the-art performance in drug design, thanks to their capacity to capture complex chemical patterns from large-scale data via attention mechanisms. In this paper, we propose a hybrid architecture that integrates GCNs with LLM-derived embeddings to combine localized structural learning with global chemical knowledge. The LLM embeddings can be precomputed and stored in a molecular feature library, removing the need to rerun the LLM during training or inference and thus maintaining computational efficiency. We found that concatenating the LLM embeddings after each GCN layer-rather than only at the final layer-significantly improves performance, enabling deeper integration of global context throughout the network. The resulting model achieves superior results, with an F1-score of (88.8%), outperforming standalone GCN (87.9%), XGBoost (85.5%), and SVM (85.4%) baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google