BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text

要約

GPT-4 や Med-PaLM 2 などのモデルは、さまざまな生物医学 NLP タスクで優れたパフォーマンスを実証しています。
ただし、これらのモデルには数千億のパラメーターがあり、実行には計算コストがかかり、ユーザーは入力データをインターネット経由で送信する必要があり、未知のデータ ソースでトレーニングされます。
より小型で、よりターゲットを絞ったモデルが競合できるでしょうか?
この疑問に対処するために、私たちは、PubMed 抄録と論文全文のみを対象としてトレーニングされた 27 億パラメータの GPT スタイルの自己回帰モデルである BioMedLM を構築し、リリースしました。
BioMedLM を微調整すると、MedMCQA (dev) で 57.3%、MMLU Medical Genetics 試験で 69.0% のスコアを達成するなど、はるかに大規模なモデルに匹敵する強力な多肢選択式の生物医学的質問回答結果を生成できます。
BioMedLM は、医療トピックに関する患者の質問に対する有用な回答を提供するように微調整することもできます。
これは、より小さなモデルが、生物医学などの特定の NLP アプリケーションに対して、透明性があり、プライバシーが保護され、経済的で環境に優しい基盤として機能する可能性があることを示しています。
このモデルは、Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM で入手できます。

要約(オリジナル)

Models such as GPT-4 and Med-PaLM 2 have demonstrated impressive performance on a wide variety of biomedical NLP tasks. However, these models have hundreds of billions of parameters, are computationally expensive to run, require users to send their input data over the internet, and are trained on unknown data sources. Can smaller, more targeted models compete? To address this question, we build and release BioMedLM, a 2.7 billion parameter GPT-style autoregressive model trained exclusively on PubMed abstracts and full articles. When fine-tuned, BioMedLM can produce strong multiple-choice biomedical question-answering results competitive with much larger models, such as achieving a score of 57.3% on MedMCQA (dev) and 69.0% on the MMLU Medical Genetics exam. BioMedLM can also be fine-tuned to produce useful answers to patient questions on medical topics. This demonstrates that smaller models can potentially serve as transparent, privacy-preserving, economical and environmentally friendly foundations for particular NLP applications, such as in biomedicine. The model is available on the Hugging Face Hub: https://huggingface.co/stanford-crfm/BioMedLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google