要約
適切なデータ選択とトレーニング技術により、大規模言語モデル (LLM) は、さまざまな健康診断や多肢選択式の質問で優れた成功を収めています。
しかし、医療対話の生成(実際の医療行為により密接に連携したタスク)における LLM の適用は、あまり検討されていません。
このギャップは、LLM の医学的知識が不十分であることが原因であると考えられており、生成される医療応答に不正確さや幻覚情報が生じます。
この研究では、医療知識グラフを介した外部知識強化モジュールと、医療エンティティと医師のアクションを介した内部クリニカル パス エンコーディングを統合する、知識強化およびクリニカル パスウェイ エンコーディングによる医療対話 (MedKP) フレームワークを紹介します。
包括的な指標で評価された 2 つの大規模な現実世界のオンライン医療相談データセット (MedDG と KaMed) での実験では、MedKP が複数のベースラインを上回り、幻覚の発生率を軽減し、新たな最先端を達成していることが実証されました。
広範なアブレーション研究により、MedKP の各コンポーネントの有効性がさらに明らかになりました。
この機能強化により、LLM を使用した信頼性の高い自動医療相談応答の開発が促進され、正確でリアルタイムの医療支援の可能性が広がります。
要約(オリジナル)
With appropriate data selection and training techniques, Large Language Models (LLMs) have demonstrated exceptional success in various medical examinations and multiple-choice questions. However, the application of LLMs in medical dialogue generation-a task more closely aligned with actual medical practice-has been less explored. This gap is attributed to the insufficient medical knowledge of LLMs, which leads to inaccuracies and hallucinated information in the generated medical responses. In this work, we introduce the Medical dialogue with Knowledge enhancement and clinical Pathway encoding (MedKP) framework, which integrates an external knowledge enhancement module through a medical knowledge graph and an internal clinical pathway encoding via medical entities and physician actions. Evaluated with comprehensive metrics, our experiments on two large-scale, real-world online medical consultation datasets (MedDG and KaMed) demonstrate that MedKP surpasses multiple baselines and mitigates the incidence of hallucinations, achieving a new state-of-the-art. Extensive ablation studies further reveal the effectiveness of each component of MedKP. This enhancement advances the development of reliable, automated medical consultation responses using LLMs, thereby broadening the potential accessibility of precise and real-time medical assistance.
arxiv情報
著者 | Jiageng Wu,Xian Wu,Yefeng Zheng,Jie Yang |
発行日 | 2024-03-11 10:57:45+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google