PharmaGPT: Domain-Specific Large Language Models for Bio-Pharmaceutical and Chemistry

要約

大規模言語モデル（LLM）は、複雑な素性工学の必要性を最小化することにより、自然言語処理（NLP）に革命をもたらした。しかし、バイオ医薬品や化学のような特殊な領域におけるLLMの応用は、ほとんど未開拓のままである。これらの分野は、複雑な専門用語、専門的な知識、高い精度が要求されるという特徴があり、汎用のLLMでは不十分な場合が多い。この研究では、バイオ医薬品と化学分野に特化した数千億のトークンを含む包括的なコーパスで特別に訓練された、130億と700億のパラメータを持つ多言語LLMのスイートであるPharmGPTを紹介します。我々の評価では、PharmGPTはNAPLEXのような主要なベンチマークにおいて既存の一般的なモデルに匹敵するか、凌駕しており、ドメインに特化したタスクにおいて卓越した能力を実証しています。この進歩は、バイオ・医薬・化学分野におけるLLMの新たなベンチマークを確立し、専門的な言語モデリングにおける既存のギャップに対処します。さらに、これはこれらの専門分野における研究開発の強化のための有望な道筋を示唆し、専門領域におけるNLPのより正確で効果的な応用への道を開くものである。

要約(オリジナル)

Large language models (LLMs) have revolutionized Natural Language Processing (NLP) by by minimizing the need for complex feature engineering. However, the application of LLMs in specialized domains like biopharmaceuticals and chemistry remains largely unexplored. These fields are characterized by intricate terminologies, specialized knowledge, and a high demand for precision areas where general purpose LLMs often fall short. In this study, we introduce PharmGPT, a suite of multilingual LLMs with 13 billion and 70 billion parameters, specifically trained on a comprehensive corpus of hundreds of billions of tokens tailored to the Bio-Pharmaceutical and Chemical sectors. Our evaluation shows that PharmGPT matches or surpasses existing general models on key benchmarks, such as NAPLEX, demonstrating its exceptional capability in domain-specific tasks. This advancement establishes a new benchmark for LLMs in the Bio-Pharmaceutical and Chemical fields, addressing the existing gap in specialized language modeling. Furthermore, this suggests a promising path for enhanced research and development in these specialized areas, paving the way for more precise and effective applications of NLP in specialized domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL