SA-MDKIF: A Scalable and Adaptable Medical Domain Knowledge Injection Framework for Large Language Models

要約

大規模言語モデル (LLM) の最近の進歩により、さまざまな自然言語処理 (NLP) タスクで優れたパフォーマンスが実証されました。
しかし、医療分野での効果的な応用は、医療分野の知識が不足しているために妨げられています。
この研究では、命令チューニングを通じて医療知識を汎用 LLM に注入し、それによってさまざまな下流タスクへの適応性を可能にすることを目的とした、スケーラブルで適応性のあるフレームワークである SA-MDKIF を紹介します。
SA-MDKIF は、スキル トレーニングとスキル適応の 2 つの段階で構成されます。
最初の段階では、12 の基本的な医療スキルを定義し、AdaLoRA を使用して、構築した統一フォーマットの指導データセットに基づいてこれらのスキルをトレーニングします。
次の段階では、タスク固有のダウンストリーム データを使用してスキル ルーターをトレーニングし、このルーターを使用して、推論中に取得したスキルを LLM と統合します。
9 つの異なる医療タスクに関する実験結果では、SA-MDKIF が元の LLM と比較してパフォーマンスを 10 ～ 20% 向上させることが示されています。
特に、この改善は目に見えない医療タスクで顕著であり、最大 30% の改善が見られます。

要約(オリジナル)

Recent advances in large language models (LLMs) have demonstrated exceptional performance in various natural language processing (NLP) tasks. However, their effective application in the medical domain is hampered by a lack of medical domain knowledge. In this study, we present SA-MDKIF, a scalable and adaptable framework that aims to inject medical knowledge into general-purpose LLMs through instruction tuning, thereby enabling adaptability for various downstream tasks. SA-MDKIF consists of two stages: skill training and skill adaptation. In the first stage, we define 12 basic medical skills and use AdaLoRA to train these skills based on uniformly formatted instructional datasets that we have constructed. In the next stage, we train the skill router using task-specific downstream data and use this router to integrate the acquired skills with LLMs during inference. Experimental results on 9 different medical tasks show that SA-MDKIF improves performance by 10-20% compared to the original LLMs. Notably, this improvement is particularly pronounced for unseen medical tasks, showing an improvement of up to 30%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google