SciDFM: A Large Language Model with Mixture-of-Experts for Science

要約

最近、科学的発見を支援するために大規模言語モデル (LLM) を活用することへの関心が大幅に高まっています。
しかし、ほとんどの LLM は一般科学のみに焦点を当てており、化学分子やアミノ酸配列などの分野固有の知識が不足しています。
これらのギャップを埋めるために、専門家混合 LLM である SciDFM を導入します。これは、ゼロからトレーニングされ、大学レベルの科学的推論を実行し、分子とアミノ酸配列を理解することができます。
私たちは、さまざまな分野の多数の科学論文や書籍、およびドメイン固有のデータベースからのデータを含む大規模なトレーニング コーパスを収集します。
ダウンストリームのベンチマークでのパフォーマンスを向上させるために、多くの命令データに基づいて事前トレーニングされたモデルをさらに微調整します。
実験結果から、SciDFM は SciEval や SciQ などの一般的な科学ベンチマークで優れたパフォーマンスを達成し、同様のサイズのモデル間のドメイン固有のベンチマークでは SOTA パフォーマンスに達することがわかりました。
さらに専門家レイヤーを分析し、専門家の選択の結果がさまざまな分野のデータによって異なることを示します。
より広範な研究コミュニティに利益をもたらすために、https://huggingface.co/OpenDFM/SciDFM-MoE-A5.6B-v1.0 で SciDFM をオープンソースにしています。

要約(オリジナル)

Recently, there has been a significant upsurge of interest in leveraging large language models (LLMs) to assist scientific discovery. However, most LLMs only focus on general science, while they lack domain-specific knowledge, such as chemical molecules and amino acid sequences. To bridge these gaps, we introduce SciDFM, a mixture-of-experts LLM, which is trained from scratch and is able to conduct college-level scientific reasoning and understand molecules and amino acid sequences. We collect a large-scale training corpus containing numerous scientific papers and books from different disciplines as well as data from domain-specific databases. We further fine-tune the pre-trained model on lots of instruction data to improve performances on downstream benchmarks. From experiment results, we show that SciDFM achieves strong performance on general scientific benchmarks such as SciEval and SciQ, and it reaches a SOTA performance on domain-specific benchmarks among models of similar size. We further analyze the expert layers and show that the results of expert selection vary with data from different disciplines. To benefit the broader research community, we open-source SciDFM at https://huggingface.co/OpenDFM/SciDFM-MoE-A5.6B-v1.0.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google