De Novo Drug Design with Joint Transformers

要約

デノボ（de novo）ドラッグデザインは、学習データ以外の新規分子の生成とその標的特性の予測を同時に行う必要があり、生成モデルにとって困難なタスクである。この問題に対処するために、我々は、Transformerデコーダ、Transformerエンコーダ、および予測器を、重みを共有するジョイント生成モデルに結合するJoint Transformerを提案する。このモデルをペナルティ付き対数尤度目標で学習させることで、分子生成において最先端の性能が得られることを示すとともに、新たにサンプリングされた分子の予測誤差を、微調整されたデコーダのみのTransformerと比較して42%減少させる。最後に、Joint Transformerを用いた確率論的ブラックボックス最適化アルゴリズムを提案し、トレーニングデータと比較して、ターゲット特性を改善した新規分子を生成し、de novoドラッグデザインにおける他のSMILESベースの最適化手法を凌駕する。

要約(オリジナル)

De novo drug design requires simultaneously generating novel molecules outside of training data and predicting their target properties, making it a hard task for generative models. To address this, we propose Joint Transformer that combines a Transformer decoder, a Transformer encoder, and a predictor in a joint generative model with shared weights. We show that training the model with a penalized log-likelihood objective results in state-of-the-art performance in molecule generation, while decreasing the prediction error on newly sampled molecules, as compared to a fine-tuned decoder-only Transformer, by 42%. Finally, we propose a probabilistic black-box optimization algorithm that employs Joint Transformer to generate novel molecules with improved target properties, as compared to the training data, outperforming other SMILES-based optimization methods in de novo drug design.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL