MedInsight: A Multi-Source Context Augmentation Framework for Generating Patient-Centric Medical Responses using Large Language Models

要約

大規模言語モデル (LLM) は、人間のような応答を生成する優れた機能を示しています。
しかし、分野固有の知識が不足しているため、状況に応じた包括的な対応が重要な医療現場での適用が制限されます。
この課題に対処し、状況に応じて適切で包括的な患者中心の応答の生成を可能にするために、私たちは MedInsight を提案します。これは、LLM 入力 (プロンプト) を複数のソースからの関連する背景情報で拡張する、新しい検索拡張フレームワークです。
MedInsight は、患者の医療記録または診察記録から関連する詳細を抽出します。
次に、権威ある医学教科書からの情報と、患者の健康歴や状態に基づいて厳選された Web リソースを統合します。
MedInsight は、患者の記録と関連する医療知識を組み合わせた拡張コンテキストを構築することにより、診断、治療の推奨、患者教育などの医療アプリケーションに合わせた充実した患者固有の応答を生成します。
MTSamples データセットの実験により、状況に応じて適切な医療反応を生成する際の MedInsight の有効性が検証されます。
Ragas メトリクスと TruLens を使用した回答の類似性と回答の正しさの定量的評価により、モデルの有効性が実証されます。
さらに、主題専門家 (SME) が関与する人間による評価研究では、生成された応答の関連性と正確さについて評価者間で中程度の合意が得られ、MedInsight の有用性が確認されています。

要約(オリジナル)

Large Language Models (LLMs) have shown impressive capabilities in generating human-like responses. However, their lack of domain-specific knowledge limits their applicability in healthcare settings, where contextual and comprehensive responses are vital. To address this challenge and enable the generation of patient-centric responses that are contextually relevant and comprehensive, we propose MedInsight:a novel retrieval augmented framework that augments LLM inputs (prompts) with relevant background information from multiple sources. MedInsight extracts pertinent details from the patient’s medical record or consultation transcript. It then integrates information from authoritative medical textbooks and curated web resources based on the patient’s health history and condition. By constructing an augmented context combining the patient’s record with relevant medical knowledge, MedInsight generates enriched, patient-specific responses tailored for healthcare applications such as diagnosis, treatment recommendations, or patient education. Experiments on the MTSamples dataset validate MedInsight’s effectiveness in generating contextually appropriate medical responses. Quantitative evaluation using the Ragas metric and TruLens for answer similarity and answer correctness demonstrates the model’s efficacy. Furthermore, human evaluation studies involving Subject Matter Expert (SMEs) confirm MedInsight’s utility, with moderate inter-rater agreement on the relevance and correctness of the generated responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google