ReacLLaMA: Merging chemical and textual information in chemical reactivity AI models

要約

化学反応性モデルは、分類 (成功/失敗) または回帰 (製品収率) タスクの形式で化学反応の結果を予測するために開発されています。
報告されているモデルの大部分は、反応物、生成物、試薬、溶媒などの化学情報のみに基づいてトレーニングされており、合成プロトコルの詳細についてはトレーニングされていません。
ここでは、Graphormer 反応性モデルを強化し、その精度を向上させることを目的とした手順テキストの組み込みが示されています。
2 つの主要なアプローチが使用されます。テキスト プロシージャの GPT-2 由来の潜在表現 (ReacLLaMA-Adapter) を備えたアダプター Graphormer モデルをトレーニングする方法と、LLaMA 2 モデルを使用してデータセットのラベルのない部分にラベルを付けてから Graphormer をトレーニングする方法です。
拡張データセット (Zero-Shot Labeling ReacLLaMA) 上で。
どちらの方法論も、見込みのない反応の識別を強化し、それによって特異性が向上したより正確なモデルを提供します。

要約(オリジナル)

Chemical reactivity models are developed to predict chemical reaction outcomes in the form of classification (success/failure) or regression (product yield) tasks. The vast majority of the reported models are trained solely on chemical information such as reactants, products, reagents, and solvents, but not on the details of a synthetic protocol. Herein incorporation of procedural text with the aim to augment the Graphormer reactivity model and improve its accuracy is presented. Two major approaches are used: training an adapter Graphormer model that is provided with a GPT-2-derived latent representation of the text procedure (ReacLLaMA-Adapter) and labeling an unlabeled part of a dataset with the LLaMA 2 model followed by training the Graphormer on an extended dataset (Zero-Shot Labeling ReacLLaMA). Both methodologies enhance the discernment of unpromising reactions, thereby providing more accurate models with improved specificity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google