ChemLLM: A Chemical Large Language Model

要約

大規模言語モデル (LLM) は、化学応用において目覚ましい進歩を遂げました。
ただし、コミュニティには化学向けに特別に設計された LLM がありません。
主な課題は 2 つあります。第 1 に、ほとんどの化学データと科学的知識は構造化データベースに保存されているため、直接使用した場合に一貫した対話を維持するモデルの能力が制限されます。
第二に、ほとんどの化学タスクを網羅する客観的かつ公正なベンチマークが存在しません。
ここでは、化学専用の初の LLM を特徴とする包括的なフレームワークである ChemLLM を紹介します。
また、命令チューニング用に特別に設計されたデータセットである ChemData と、9 つの必須の化学タスクをカバーする堅牢なベンチマークである ChemBench も含まれています。
ChemLLM は、流動的な対話インタラクションを使用して、化学分野全体でさまざまなタスクを実行することに熟達しています。
特に、ChemLLM は、中核となる化学タスクで GPT-4 に匹敵する結果を達成し、一般的なシナリオで同様のサイズの LLM と競合するパフォーマンスを実証します。
ChemLLM は化学研究の探求に新しい道を切り開き、構造化された化学知識を対話システムに組み込む私たちの方法は、さまざまな科学分野で LLM を開発するための新しい基準を設定します。
コード、データセット、モデルの重みは https://hf.co/AI4Chem で公開されています。

要約(オリジナル)

Large language models (LLMs) have made impressive progress in chemistry applications. However, the community lacks an LLM specifically designed for chemistry. The main challenges are two-fold: firstly, most chemical data and scientific knowledge are stored in structured databases, which limits the model’s ability to sustain coherent dialogue when used directly. Secondly, there is an absence of objective and fair benchmark that encompass most chemistry tasks. Here, we introduce ChemLLM, a comprehensive framework that features the first LLM dedicated to chemistry. It also includes ChemData, a dataset specifically designed for instruction tuning, and ChemBench, a robust benchmark covering nine essential chemistry tasks. ChemLLM is adept at performing various tasks across chemical disciplines with fluid dialogue interaction. Notably, ChemLLM achieves results comparable to GPT-4 on the core chemical tasks and demonstrates competitive performance with LLMs of similar size in general scenarios. ChemLLM paves a new path for exploration in chemical studies, and our method of incorporating structured chemical knowledge into dialogue systems sets a new standard for developing LLMs in various scientific fields. Codes, Datasets, and Model weights are publicly accessible at https://hf.co/AI4Chem

arxiv情報

提供元, 利用サービス

arxiv.jp, Google