PediatricsGPT: Large Language Models as Chinese Medical Assistants for Pediatric Applications

要約

インテリジェントな小児科診察システムの開発は、特に医療資源が乏しい中国において、診断効率を向上させる有望な見込みがある。中国医学のための大規模言語モデル(LLM)の最近の進歩にもかかわらず、それらの性能は、不十分な指示データと脆弱な学習手順のために、小児科のアプリケーションでは最適ではない。上記の問題に対処するため、本論文では、小児科の教科書、ガイドライン、ナレッジグラフリソースから30万以上のマルチタスク命令を集めた高品質なデータセットであるPedCorpusを構築し、多様な診断要求を満たす。よく設計されたPedCorpusの上に、我々は体系的で頑健な学習パイプライン上に構築された中国初の小児科LLMアシスタントであるPediatricsGPTを提案する。連続的な事前学習フェーズでは、医療ドメイン適応のためのLLMの内部注入された知識の矛盾を軽減するために、ハイブリッド命令事前学習メカニズムを導入する。すぐに、一般的な医療知識スキーマをモデルに組み込むために、フルパラメータの教師ありファインチューニング（SFT）を利用する。その後、小児科医のような人間味のある応答の生成を強化するために、直接次の嗜好最適化を考案する。パラメータ効率の良い二次SFTフェーズでは、医療ジェネラリストと小児専門知識の習得の間の能力的矛盾を解決するために、普遍的専門家の混合戦略を提示する。メトリックス、GPT-4、および医師の下流タスクに対する医師の評価に基づく広範な結果は、PediatricsGPTが一貫して従来の中国医学LLMを上回ることを示している。我々のモデルとデータセットは、コミュニティ開発のためにオープンソースで提供される予定である。

要約(オリジナル)

Developing intelligent pediatric consultation systems offers promising prospects for improving diagnostic efficiency, especially in China, where healthcare resources are scarce. Despite recent advances in Large Language Models (LLMs) for Chinese medicine, their performance is sub-optimal in pediatric applications due to inadequate instruction data and vulnerable training procedures. To address the above issues, this paper builds PedCorpus, a high-quality dataset of over 300,000 multi-task instructions from pediatric textbooks, guidelines, and knowledge graph resources to fulfil diverse diagnostic demands. Upon well-designed PedCorpus, we propose PediatricsGPT, the first Chinese pediatric LLM assistant built on a systematic and robust training pipeline. In the continuous pre-training phase, we introduce a hybrid instruction pre-training mechanism to mitigate the internal-injected knowledge inconsistency of LLMs for medical domain adaptation. Immediately, the full-parameter Supervised Fine-Tuning (SFT) is utilized to incorporate the general medical knowledge schema into the models. After that, we devise a direct following preference optimization to enhance the generation of pediatrician-like humanistic responses. In the parameter-efficient secondary SFT phase, a mixture of universal-specific experts strategy is presented to resolve the competency conflict between medical generalist and pediatric expertise mastery. Extensive results based on the metrics, GPT-4, and doctor evaluations on distinct doctor downstream tasks show that PediatricsGPT consistently outperforms previous Chinese medical LLMs. Our model and dataset will be open-source for community development.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL