Qualifying Chinese Medical Licensing Examination with Knowledge Enhanced Generative Pre-training Model

要約

ChatGPT のような生成事前トレーニング (GPT) モデルは、さまざまな自然言語処理 (NLP) タスクで優れたパフォーマンスを実証しています。
ChatGPT は、多くのドメインで効率を高めるためにワークフロー全体に統合されていますが、微調整プロセスに柔軟性がないため、ヘルスケアなど、広範なドメインの専門知識とセマンティックな知識が必要な分野での適用が妨げられています。
この論文では、中国国家医師免許試験 (CNMLE) で ChatGPT を評価し、医療分野の知識の統合と数回の学習の可能化という 2 つの観点から ChatGPT を改善する新しいアプローチを提案します。
シンプルだが効果的な検索方法を使用することで、医学的背景知識が意味論的な指示として抽出され、ChatGPT の推論をガイドします。
同様に、関連する医療上の質問が特定され、デモンストレーションとして ChatGPT に提供されます。
実験結果は、ChatGPT を直接適用すると、スコア 51 で CNMLE の認定に失敗することを示しています (つまり、質問の 51\% のみが正しく回答されます)。
一方、当社の知識強化モデルは CNMLE-2022 で 70 という高スコアを達成し、資格に合格しただけでなく、人間の平均スコア (61) も上回りました。
この研究は、知識を強化した ChatGPT が多用途の医療アシスタントとして機能し、よりアクセスしやすく、ユーザーフレンドリーで適応性のある方法で現実世界の医療問題を分析できる可能性を実証しています。

要約(オリジナル)

Generative Pre-Training (GPT) models like ChatGPT have demonstrated exceptional performance in various Natural Language Processing (NLP) tasks. Although ChatGPT has been integrated into the overall workflow to boost efficiency in many domains, the lack of flexibility in the finetuning process hinders its applications in areas that demand extensive domain expertise and semantic knowledge, such as healthcare. In this paper, we evaluate ChatGPT on the China National Medical Licensing Examination (CNMLE) and propose a novel approach to improve ChatGPT from two perspectives: integrating medical domain knowledge and enabling few-shot learning. By using a simple but effective retrieval method, medical background knowledge is extracted as semantic instructions to guide the inference of ChatGPT. Similarly, relevant medical questions are identified and fed as demonstrations to ChatGPT. Experimental results show that directly applying ChatGPT fails to qualify the CNMLE at a score of 51 (i.e., only 51\% of questions are answered correctly). While our knowledge-enhanced model achieves a high score of 70 on CNMLE-2022 which not only passes the qualification but also surpasses the average score of humans (61). This research demonstrates the potential of knowledge-enhanced ChatGPT to serve as versatile medical assistants, capable of analyzing real-world medical problems in a more accessible, user-friendly, and adaptable manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google