MOOSE-Chem: Large Language Models for Rediscovering Unseen Chemistry Scientific Hypotheses

要約

科学的発見は人類社会の繁栄に大きく貢献しており、最近の進歩は、LLMがこのプロセスを促進する可能性があることを示している。しかし、LLMが化学において新規かつ有効な仮説を発見できるかどうかはまだ不明である。本研究では、この中心的な研究課題を調査する：LLMは、化学の研究背景（リサーチクエスチョンと背景調査から成る）だけで、リサーチクエスチョンの領域に制限なく、新規かつ有効な化学研究仮説を自動的に発見できるのか？化学の専門家と広範な議論を行った結果、化学の仮説の大部分は、研究背景といくつかの着想から得られるという仮定を提案する。この重要な洞察に基づき、中心的な質問を3つの小さな基本的な質問に分割する。簡単に言うと、以下の3つである：(1)背景となる疑問が与えられた場合、LLMは良い着想を得ることができるか、(2)背景と着想を得た場合、LLMは仮説を導くことができるか、(3)LLMは良い仮説を特定し、上位にランク付けすることができるか、である。これらの疑問を調査するために、2024年にNature、Science、または同レベルの雑誌に掲載された51の化学論文からなるベンチマークを構築した（すべての論文は2024年以降オンラインでしか入手できない）。すべての論文は、化学博士課程の学生によって、背景、着想、仮説の3つの要素に分けられている。目標は、2023年までのデータで学習したLLMを用いて、背景と、グランドトゥルースとなるインスピレーション論文からなる無作為に選択された大規模な化学文献コーパスのみを与え、仮説を再発見することである。また、この仮説を活用したLLMベースのマルチエージェントフレームワークを開発し、3つの小さな疑問を反映した3つのステージから構成される。提案手法は、グランドトゥルースと非常に高い類似性を持つ多くの仮説を再発見することができ、主要なイノベーションをカバーすることができる。

要約(オリジナル)

Scientific discovery contributes largely to human society’s prosperity, and recent progress shows that LLMs could potentially catalyze this process. However, it is still unclear whether LLMs can discover novel and valid hypotheses in chemistry. In this work, we investigate this central research question: Can LLMs automatically discover novel and valid chemistry research hypotheses given only a chemistry research background (consisting of a research question and/or a background survey), without limitation on the domain of the research question? After extensive discussions with chemistry experts, we propose an assumption that a majority of chemistry hypotheses can be resulted from a research background and several inspirations. With this key insight, we break the central question into three smaller fundamental questions. In brief, they are: (1) given a background question, whether LLMs can retrieve good inspirations; (2) with background and inspirations, whether LLMs can lead to hypothesis; and (3) whether LLMs can identify good hypotheses to rank them higher. To investigate these questions, we construct a benchmark consisting of 51 chemistry papers published in Nature, Science, or a similar level in 2024 (all papers are only available online since 2024). Every paper is divided by chemistry PhD students into three components: background, inspirations, and hypothesis. The goal is to rediscover the hypothesis, given only the background and a large randomly selected chemistry literature corpus consisting the ground truth inspiration papers, with LLMs trained with data up to 2023. We also develop an LLM-based multi-agent framework that leverages the assumption, consisting of three stages reflecting the three smaller questions. The proposed method can rediscover many hypotheses with very high similarity with the ground truth ones, covering the main innovations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL