MolKD: Distilling Cross-Modal Knowledge in Chemical Reactions for Molecular Property Prediction

要約

タイトル： MolKD：分子特性予測のための化学反応におけるクロスモーダル知識の蒸留

要約：

– 分子の効果的な表現方法は分子特性予測および薬剤探索にとって長年の課題である。
– この論文では、化学反応に関連する化学ドメイン知識を組み込んで、効果的な分子表現を学習することを提案している。
– しかしながら、化学反応と分子の間にはクロスモーダル特性があるため、この問題に対処することは困難である。
– このため、本論文では、MolKDと呼ばれる新しい方法を導入しており、化学反応におけるクロスモーダル知識を分子特性予測の補助として蒸留している。
– 具体的には、MolKD内の反応-分子蒸留モデルは、1つのモダリティ（すなわち反応）で学習する事前学習済みの教師ネットワークからクロスモーダル知識を伝達して、別のモダリティ（すなわち分子）で学習する学生ネットワークに組み込まれる。
– さらに、MolKDは、反応の事前学習時に反応産物対反応物の変換効率を測定するために、反応産率を取り込んで効果的な分子表現を学習する。
– 多数の実験により、MolKDがさまざまな競合ベースラインモデルを大幅に上回ることが示されており、Tox21では2.1％の完全なAUC-ROCの増加が得られた。
– さらに、MolKDにおける事前学習された分子表現は、化学的に合理的な分子の類似性を区別することができ、高い堅牢性と解釈性を持って分子特性予測を可能にすることが示された。

要約(オリジナル)

How to effectively represent molecules is a long-standing challenge for molecular property prediction and drug discovery. This paper studies this problem and proposes to incorporate chemical domain knowledge, specifically related to chemical reactions, for learning effective molecular representations. However, the inherent cross-modality property between chemical reactions and molecules presents a significant challenge to address. To this end, we introduce a novel method, namely MolKD, which Distills cross-modal Knowledge in chemical reactions to assist Molecular property prediction. Specifically, the reaction-to-molecule distillation model within MolKD transfers cross-modal knowledge from a pre-trained teacher network learning with one modality (i.e., reactions) into a student network learning with another modality (i.e., molecules). Moreover, MolKD learns effective molecular representations by incorporating reaction yields to measure transformation efficiency of the reactant-product pair when pre-training on reactions. Extensive experiments demonstrate that MolKD significantly outperforms various competitive baseline models, e.g., 2.1% absolute AUC-ROC gain on Tox21. Further investigations demonstrate that pre-trained molecular representations in MolKD can distinguish chemically reasonable molecular similarities, which enables molecular property prediction with high robustness and interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI