ChemDFM-X: Towards Large Multimodal Model for Chemistry

要約

AI ツールの急速な発展により、化学を含む自然科学の研究にこれまでにない支援がもたらされると期待されています。
ただし、既存の単峰性のタスク固有の専門家モデルも、新興の一般的な大規模複合モデル (LMM) も、広範囲の化学データ モダリティとタスク カテゴリをカバーできません。
化学者の実際の要求に応えるためには、LMM の大きな可能性を利用して真に実用的で有用な研究アシスタントとして機能する、クロスモーダルなケミカル ジェネラル インテリジェンス (CGI) システムが非常に必要とされています。
この研究では、最初の化学のためのクロスモーダル対話基盤モデル (ChemDFM-X) を紹介します。
多様なマルチモーダルデータは、近似計算とタスク固有のモデル予測によって初期モダリティから生成されます。
この戦略により、過剰な費用を大幅に削減しながら十分な化学トレーニング コーパスが作成され、760 万のデータを含む命令調整データセットが得られます。
命令の微調整後、ChemDFM-X は、さまざまなデータ モダリティを使用したさまざまな化学タスクの広範な実験で評価されます。
この結果は、ChemDFM-X のマルチモーダルおよびモーダル間の知識理解能力を示しています。
ChemDFM-X は、化学におけるすべてのモダリティを調整するための重要なマイルストーンとなり、CGI に一歩近づきます。

要約(オリジナル)

Rapid developments of AI tools are expected to offer unprecedented assistance to the research of natural science including chemistry. However, neither existing unimodal task-specific specialist models nor emerging general large multimodal models (LMM) can cover the wide range of chemical data modality and task categories. To address the real demands of chemists, a cross-modal Chemical General Intelligence (CGI) system, which serves as a truly practical and useful research assistant utilizing the great potential of LMMs, is in great need. In this work, we introduce the first Cross-modal Dialogue Foundation Model for Chemistry (ChemDFM-X). Diverse multimodal data are generated from an initial modality by approximate calculations and task-specific model predictions. This strategy creates sufficient chemical training corpora, while significantly reducing excessive expense, resulting in an instruction-tuning dataset containing 7.6M data. After instruction finetuning, ChemDFM-X is evaluated on extensive experiments of different chemical tasks with various data modalities. The results demonstrate the capacity of ChemDFM-X for multimodal and inter-modal knowledge comprehension. ChemDFM-X marks a significant milestone toward aligning all modalities in chemistry, a step closer to CGI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google