Holistic chemical evaluation reveals pitfalls in reaction prediction models

要約

化学反応の予測は、その複雑さと化学における重要な応用により、近年機械学習コミュニティ内で大きな関心を集めています。
ただし、このタスクのモデル評価は、主に上位 k 精度などの単純な指標に限定されており、モデルの制限の詳細がわかりにくくなっています。
他の分野の進歩に触発されて、私たちは現在のアプローチを基礎にして、より総合的な評価に向けた新しい評価スキームを提案します。
この目標のために、次の重要なコンポーネントを導入します。CHORISO、化学的に関連するシナリオを再現するための複数の調整された分割を伴う厳選されたデータセット、およびモデルの利点と限界の全体的なビューを提供するメトリクスのコレクションです。
この方法を最先端のモデルに適用すると、特に立体選択性と化学的分布外一般化など、敏感な面での重要な違いが明らかになります。
私たちの研究は、最終的に化学発見を加速できる堅牢な予測モデルへの道を切り開きます。

要約(オリジナル)

The prediction of chemical reactions has gained significant interest within the machine learning community in recent years, owing to its complexity and crucial applications in chemistry. However, model evaluation for this task has been mostly limited to simple metrics like top-k accuracy, which obfuscates fine details of a model’s limitations. Inspired by progress in other fields, we propose a new assessment scheme that builds on top of current approaches, steering towards a more holistic evaluation. We introduce the following key components for this goal: CHORISO, a curated dataset along with multiple tailored splits to recreate chemically relevant scenarios, and a collection of metrics that provide a holistic view of a model’s advantages and limitations. Application of this method to state-of-the-art models reveals important differences on sensitive fronts, especially stereoselectivity and chemical out-of-distribution generalization. Our work paves the way towards robust prediction models that can ultimately accelerate chemical discovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google