What can Large Language Models do in chemistry? A comprehensive benchmark on eight tasks

要約

自然言語処理タスクに強力な能力を備えた大規模言語モデル (LLM) が登場し、科学、金融、ソフトウェア エンジニアリングなどのさまざまな種類の分野に適用されています。
しかし、化学分野を進歩させる LLM の能力は依然として不明瞭です。
この論文では、最先端のパフォーマンスを追求するのではなく、化学領域全体の幅広いタスクにおける LLM の能力を評価することを目的としています。
私たちは、LLM で探求すべき理解、推論、説明を含む 3 つの主要な化学関連能力を特定し、8 つの化学タスクを含むベンチマークを確立します。
私たちの分析は、実用的な化学の文脈における LLM の能力の広範な探求を促進する、広く認知されているデータセットに基づいています。
5 つの LLM (GPT-4、GPT-3.5、Davinci-003、Llama、Galaxy) が、慎重に選択されたデモンストレーション例と特別に作成されたプロンプトを使用して、ゼロ ショットおよび少数ショットのコンテキスト内学習設定で化学タスクごとに評価されます。
私たちの調査では、GPT-4 が他のモデルよりも優れたパフォーマンスを示し、LLM が 8 つの化学タスクにおいて異なる競合レベルを示すことがわかりました。
包括的なベンチマーク分析からの重要な発見に加えて、私たちの研究は、現在の LLM の限界と、さまざまな化学タスクにわたる LLM のパフォーマンスに対するコンテキスト内学習設定の影響についての洞察を提供します。
この研究で使用されたコードとデータセットは、https://github.com/ChemFoundationModels/ChemLLMBench で入手できます。

要約(オリジナル)

Large Language Models (LLMs) with strong abilities in natural language processing tasks have emerged and have been applied in various kinds of areas such as science, finance and software engineering. However, the capability of LLMs to advance the field of chemistry remains unclear. In this paper, rather than pursuing state-of-the-art performance, we aim to evaluate capabilities of LLMs in a wide range of tasks across the chemistry domain. We identify three key chemistry-related capabilities including understanding, reasoning and explaining to explore in LLMs and establish a benchmark containing eight chemistry tasks. Our analysis draws on widely recognized datasets facilitating a broad exploration of the capacities of LLMs within the context of practical chemistry. Five LLMs (GPT-4, GPT-3.5, Davinci-003, Llama and Galactica) are evaluated for each chemistry task in zero-shot and few-shot in-context learning settings with carefully selected demonstration examples and specially crafted prompts. Our investigation found that GPT-4 outperformed other models and LLMs exhibit different competitive levels in eight chemistry tasks. In addition to the key findings from the comprehensive benchmark analysis, our work provides insights into the limitation of current LLMs and the impact of in-context learning settings on LLMs’ performance across various chemistry tasks. The code and datasets used in this study are available at https://github.com/ChemFoundationModels/ChemLLMBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google