AlpaCare:Instruction-tuned Large Language Models for Medical Application

要約

命令微調整 (IFT) は、大規模言語モデル (LLM) を人間の多様なニーズに合わせる上で重要になっており、医療応用において大きな可能性を示しています。
しかし、これまでの研究では主に、多様性が限られた生物医学データセットを対象に LLM を微調整しており、多くの場合ベンチマークや狭いタスク範囲に依存しているため、医療指示に従う能力や一般化可能性の有効性が大幅に制限されていました。
このギャップを埋めるために、GPT-4 と ChatGPT を専門家が厳選した高品質のシード セットを使用して、機械生成された多様な医療 IFT データセット MedInstruct-52k を作成することを提案します。
次に、AlpaCare を開発するためにデータセット上で LLaMA シリーズ モデルを微調整します。
以前の医療 LLM よりも小さいドメイン固有のデータセットを使用しているにもかかわらず、AlpaCare は、医療アプリケーションで優れたパフォーマンスを示し、医療自由形式指導評価の最良のベースラインに対して最大 38.1% の絶対ゲインを達成するだけでなく、平均して 6.7% の絶対ゲインを達成します。
複数の一般的なドメインのベンチマーク。
さらに、人間による評価では、正確性と有用性の両方の点で、AlpaCare が常に最良のベースラインを上回っていることが示されています。
https://github.com/XZhang97666/AlpaCare でデータ、モデル、コードベースへのパブリック アクセスを提供しています。

要約(オリジナル)

Instruction-finetuning (IFT) has become crucial in aligning Large Language Models (LLMs) with diverse human needs and has shown great potential in medical applications. However, previous studies mainly fine-tune LLMs on biomedical datasets with limited diversity, which often rely on benchmarks or narrow task scopes, and hence significantly limit the effectiveness on their medical instruction-following ability and generalizability. To bridge this gap, we propose creating a diverse, machine-generated medical IFT dataset, MedInstruct-52k, using GPT-4 and ChatGPT with a high-quality expert-curated seed set. We then fine-tune LLaMA-series models on the dataset to develop AlpaCare. Despite using a smaller domain-specific dataset than previous medical LLMs, AlpaCare not only demonstrates superior performance on medical applications, with up to 38.1% absolute gain over best baselines in medical free-form instruction evaluations, but also achieves 6.7% absolute gains averaged over multiple general domain benchmarks. Human evaluation further shows that AlpaCare consistently outperforms best baselines in terms of both correctness and helpfulness. We offer public access to our data, model, and codebase in https://github.com/XZhang97666/AlpaCare.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google