RLSynC: Offline-Online Reinforcement Learning for Synthon Completion

要約

逆合成は、反応して目的の生成物を形成できる反応分子のセットを決定するプロセスです。
合成反応の逆ロジックを模倣するセミテンプレートベースの逆合成法では、最初に生成物の反応中心を予測し、次に生成されたシントンを完成させて反応物に戻します。
これらの方法により、合成計画に必要な解釈可能性と高い実用性が得られます。
私たちは、セミテンプレートベースの方法でシンソンを完成させるための新しいオフライン-オンライン強化学習方法 RLSynC を開発します。
RLSynC は各シントンに 1 つのエージェントを割り当て、すべてのエージェントが同期して段階的にアクションを実行することでシントンを完成させます。
RLSynC は、オフライン トレーニング エピソードとオンライン インタラクションの両方からポリシーを学習し、RLSynC が新しい反応スペースを探索できるようにします。
RLSynC は、順合成モデルを使用して、生成物を合成する際の予測反応物の可能性を評価し、アクション検索をガイドします。
RLSynC を最先端の逆合成法と比較します。
私たちの実験結果は、RLSynC がこれらの方法を上回って、シントンの完了で 14.9%、逆合成で 14.0% もの高い改善を達成できることを示しており、合成計画における RLSynC の可能性を強調しています。

要約(オリジナル)

Retrosynthesis is the process of determining the set of reactant molecules that can react to form a desired product. Semi-template-based retrosynthesis methods, which imitate the reverse logic of synthesis reactions, first predict the reaction centers in the products, and then complete the resulting synthons back into reactants. These methods enable necessary interpretability and high practical utility to inform synthesis planning. We develop a new offline-online reinforcement learning method RLSynC for synthon completion in semi-template-based methods. RLSynC assigns one agent to each synthon, all of which complete the synthons by conducting actions step by step in a synchronized fashion. RLSynC learns the policy from both offline training episodes and online interactions which allow RLSynC to explore new reaction spaces. RLSynC uses a forward synthesis model to evaluate the likelihood of the predicted reactants in synthesizing a product, and thus guides the action search. We compare RLSynC with the state-of-the-art retrosynthesis methods. Our experimental results demonstrate that RLSynC can outperform these methods with improvement as high as 14.9% on synthon completion, and 14.0% on retrosynthesis, highlighting its potential in synthesis planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google