Structured Chemistry Reasoning with Large Language Models

要約

大規模言語モデル (LLM) はさまざまな分野で優れていますが、特に化学の分野では複雑な科学的推論に苦労しています。
これまでの研究で扱われてきた単純な化学の課題 (分子の分類など) とは異なり、複雑な化学の問題では、膨大な知識と正確な計算だけでなく、さまざまな概念の豊富な動的相互作用 (温度変化など) についての構成的推論も必要とされます。
私たちの調査では、GPT-4 のような高度な LLM であっても、さまざまな方法で簡単に失敗する可能性があることが示されています。
興味深いことに、エラーは多くの場合、LLM 内のドメイン知識の欠如に起因するのではなく、LLM が適切な知識を引き出し、その知識をステップバイステップの推論に組み込み、反復的に導くための効果的な推論構造が欠如していることに起因します。
結果を改良して品質をさらに向上させます。
これに基づいて、望ましいガイダンスを提供し、LLM の化学的推論能力を大幅に向上させる、シンプルだが効果的なプロンプト戦略である StructChem を紹介します。
StructChem は、量子化学、力学、物理化学、反応速度論の 4 つの化学分野にわたるテストにより、GPT-4 のパフォーマンスを大幅に向上させ、最大 30% のピーク改善を実現します。
私たちの分析は、LLM を使用した科学における正確な根拠に基づいた推論の独特の難しさも強調しており、この分野でさらなる研究の必要性を浮き彫りにしています。
コードは \url{https://github.com/ozyyshr/StructChem} で入手できます。

要約(オリジナル)

Large Language Models (LLMs) excel in diverse areas, yet struggle with complex scientific reasoning, especially in the field of chemistry. Different from the simple chemistry tasks (e.g., molecule classification) addressed in previous studies, complex chemistry problems require not only vast knowledge and precise calculation, but also compositional reasoning about rich dynamic interactions of different concepts (e.g., temperature changes). Our study shows that even advanced LLMs, like GPT-4, can fail easily in different ways. Interestingly, the errors often stem not from a lack of domain knowledge within the LLMs, but rather from the absence of an effective reasoning structure that guides the LLMs to elicit the right knowledge, incorporate the knowledge in step-by-step reasoning, and iteratively refine results for further improved quality. On this basis, we introduce StructChem, a simple yet effective prompting strategy that offers the desired guidance and substantially boosts the LLMs’ chemical reasoning capability. Testing across four chemistry areas — quantum chemistry, mechanics, physical chemistry, and kinetics — StructChem substantially enhances GPT-4’s performance, with up to 30\% peak improvement. Our analysis also underscores the unique difficulties of precise grounded reasoning in science with LLMs, highlighting a need for more research in this area. Code is available at \url{https://github.com/ozyyshr/StructChem}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google