AlpaCare:Instruction-tuned Large Language Models for Medical Application

要約

指導対象（IFT）は、大規模な言語モデル（LLM）を多様な人間のニーズに合わせて重要になり、医療用途で大きな可能性を示しています。
ただし、以前の研究では、主に多様性が限られている生物医学データセットに関するLLMSを微調整します。これは、ベンチマークや狭いタスクスコープに依存することが多く、したがって、医療指導の公開能力と一般化可能性に対する有効性を大幅に制限します。
このギャップを埋めるために、GPT-4とCHATGPTを使用して、高品質の専門家キュレーションシードセットを使用して、多様な機械で生成された医療IFTデータセットを作成することを提案します。
次に、データセットでラマシリーズモデルを微調整してAlpacareを開発します。
以前の医療LLMよりも小さいドメイン固有のデータセットを使用しているにもかかわらず、Alpacareは医療用途で優れたパフォーマンスを示しているだけでなく、医療自由形式の指導評価において最高のベストベースラインよりも最大38.1％の絶対的な利益を示していますが、複数の一般的なドメインベンチマークで平均化された6.7％の絶対的なゲインも達成します。
人間の評価はさらに、Alpacareが正確さと有用性の両方の点で一貫して最高のベースラインを上回ることを示しています。
https://github.com/xzhang97666/alpacareで、データ、モデル、およびコードベースへのパブリックアクセスを提供しています。

要約(オリジナル)

Instruction-finetuning (IFT) has become crucial in aligning Large Language Models (LLMs) with diverse human needs and has shown great potential in medical applications. However, previous studies mainly fine-tune LLMs on biomedical datasets with limited diversity, which often rely on benchmarks or narrow task scopes, and hence significantly limit the effectiveness on their medical instruction-following ability and generalizability. To bridge this gap, we propose creating a diverse, machine-generated medical IFT dataset, MedInstruct-52k, using GPT-4 and ChatGPT with a high-quality expert-curated seed set. We then fine-tune LLaMA-series models on the dataset to develop AlpaCare. Despite using a smaller domain-specific dataset than previous medical LLMs, AlpaCare not only demonstrates superior performance on medical applications, with up to 38.1% absolute gain over best baselines in medical free-form instruction evaluations, but also achieves 6.7% absolute gains averaged over multiple general domain benchmarks. Human evaluation further shows that AlpaCare consistently outperforms best baselines in terms of both correctness and helpfulness. We offer public access to our data, model, and codebase in https://github.com/XZhang97666/AlpaCare.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google