PediatricsGPT: Large Language Models as Chinese Medical Assistants for Pediatric Applications

要約

インテリジェントな小児診察システムの開発は、特に医療リソースが不足している中国において、診断効率を向上させる有望な見通しを提供します。
中国医学向けの大規模言語モデル (LLM) は最近進歩していますが、指導データが不十分でトレーニング手順が脆弱なため、小児用途ではそのパフォーマンスが最適とは言えません。
上記の問題に対処するために、この論文では、小児科の教科書、ガイドライン、ナレッジ グラフ リソースからの 300,000 を超えるマルチタスクの指示を集めた高品質のデータセットである PedCorpus を構築し、さまざまな診断要求を満たすことができます。
適切に設計された PedCorpus に基づいて、系統的かつ堅牢なトレーニング パイプラインに基づいて構築された中国初の小児 LLM アシスタントである PediatricsGPT を提案します。
継続的な事前トレーニング段階では、医療領域への適応のために LLM の内部注入された知識の不一致を軽減するために、ハイブリッド命令事前トレーニング メカニズムを導入します。
すぐに、フルパラメータの教師付き微調整 (SFT) を利用して、一般的な医学知識スキーマをモデルに組み込みます。
その後、小児科医のような人道的な反応の生成を強化するために、直接的な好みの最適化を考案します。
パラメータ効率の高い二次 SFT フェーズでは、医療ジェネラリストと小児専門知識の習得の間のコンピテンシーの矛盾を解決するために、普遍的と特定の専門家の混合戦略が提示されます。
メトリクス、GPT-4、および個別の医師の下流タスクに関する医師の評価に基づいた広範な結果は、PediatricsGPT が以前の中国医療 LLM を一貫して上回っていることを示しています。
私たちのモデルとデータセットはコミュニティ開発のためにオープンソースになります。

要約(オリジナル)

Developing intelligent pediatric consultation systems offers promising prospects for improving diagnostic efficiency, especially in China, where healthcare resources are scarce. Despite recent advances in Large Language Models (LLMs) for Chinese medicine, their performance is sub-optimal in pediatric applications due to inadequate instruction data and vulnerable training procedures. To address the above issues, this paper builds PedCorpus, a high-quality dataset of over 300,000 multi-task instructions from pediatric textbooks, guidelines, and knowledge graph resources to fulfil diverse diagnostic demands. Upon well-designed PedCorpus, we propose PediatricsGPT, the first Chinese pediatric LLM assistant built on a systematic and robust training pipeline. In the continuous pre-training phase, we introduce a hybrid instruction pre-training mechanism to mitigate the internal-injected knowledge inconsistency of LLMs for medical domain adaptation. Immediately, the full-parameter Supervised Fine-Tuning (SFT) is utilized to incorporate the general medical knowledge schema into the models. After that, we devise a direct following preference optimization to enhance the generation of pediatrician-like humanistic responses. In the parameter-efficient secondary SFT phase, a mixture of universal-specific experts strategy is presented to resolve the competency conflict between medical generalist and pediatric expertise mastery. Extensive results based on the metrics, GPT-4, and doctor evaluations on distinct doctor downstream tasks show that PediatricsGPT consistently outperforms previous Chinese medical LLMs. Our model and dataset will be open-source for community development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google