PMC-LLaMA: Further Finetuning LLaMA on Medical Papers

要約

タイトル：PMC-LLaMA：医療論文に対してLLaMAをさらにフィネチューニングする

要約：

– LLM（Large Language Models)は、様々な分野で自然言語理解の驚くべき能力を発揮しています。
– これらのモデルは通常、日常的な対話や質問応答のシナリオでうまく働くことができますが、医療分野などの精度を重視する領域では、ドメイン固有の知識が不足しているため、しばしば不十分なパフォーマンスを示します。
– この報告書では、PMC-LLaMAを紹介します。PMC-LLaMAは、合計480万件のバイオメディカルアカデミックペーパーをオープンソースの言語モデルで微調整して獲得し、医療知識を注入し、医療分野での能力を向上させた言語モデルです。
– 銘柄によっては、PubMedQA、MedMCQA、USMLEを含む3つのバイオメディカルQAデータセットで初期評価が行われ、改善されたモデルであるPMC-LLaMAは、バイオメディカルドメイン固有の概念をよりよく理解することができるため、QAベンチマークで高性能を発揮しました。
– このモデルとコード、およびオンラインデモが公開されています。

要約(オリジナル)

Large Language Models (LLMs) have showcased remarkable capabilities in natural language understanding in various domains. These models can usually behave well on daily dialog, or question answering scenarios, however, in areas that value precision, for example, in medical applications, they often exhibit unsatisfactory performance due to a lack of domain-specific knowledge. In this report, we introduce PMC-LLaMA, an open-source language model that is acquired by fine-tuning an open-source language model on a total of 4.8 million biomedical academic papers for further injecting medical knowledge, enhancing its capability in medical domain. Our preliminary evaluations are conducted on three biomedical QA datasets, including PubMedQA, MedMCQA, and USMLE, showing that the our model after finetuning, i.e., PMC-LLaMA, demonstrates better understanding of biomedical domain-specific concepts, thus achieving high performance on QA benchmarks. The model and codes, along with an online demo, are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI