RLSynC: Offline-Online Reinforcement Learning for Synthon Completion

要約

逆合成は、反応して目的の生成物を形成できる反応分子のセットを決定するプロセスです。
合成反応の逆ロジックを模倣するセミテンプレートベースの逆合成法では、最初に生成物の反応中心を予測し、次に生成されたシントンを完成させて反応物に戻します。
私たちは、セミテンプレートベースの方法でシンソンを完成させるための新しいオフライン-オンライン強化学習方法 RLSynC を開発します。
RLSynC は各シントンに 1 つのエージェントを割り当て、すべてのエージェントが同期して段階的にアクションを実行することでシントンを完成させます。
RLSynC は、オフライン トレーニング エピソードとオンライン インタラクションの両方からポリシーを学習するため、RLSynC は新しい反応スペースを探索できます。
RLSynC は、スタンドアロンの順合成モデルを使用して、生成物の合成における予測反応物の可能性を評価し、アクション検索をガイドします。
私たちの結果は、RLSynC が最先端のシンソン完成手法を上回るパフォーマンスを 14.9% も向上できることを示しており、合成計画における RLSynC の可能性を強調しています。

要約(オリジナル)

Retrosynthesis is the process of determining the set of reactant molecules that can react to form a desired product. Semi-template-based retrosynthesis methods, which imitate the reverse logic of synthesis reactions, first predict the reaction centers in the products, and then complete the resulting synthons back into reactants. We develop a new offline-online reinforcement learning method RLSynC for synthon completion in semi-template-based methods. RLSynC assigns one agent to each synthon, all of which complete the synthons by conducting actions step by step in a synchronized fashion. RLSynC learns the policy from both offline training episodes and online interactions, which allows RLSynC to explore new reaction spaces. RLSynC uses a standalone forward synthesis model to evaluate the likelihood of the predicted reactants in synthesizing a product, and thus guides the action search. Our results demonstrate that RLSynC can outperform state-of-the-art synthon completion methods with improvements as high as 14.9%, highlighting its potential in synthesis planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google