Multimodal Clinical Reasoning through Knowledge-augmented Rationale Generation

要約

臨床的理論的根拠は、正確な疾患診断において極めて重要な役割を果たします。
しかし、多くのモデルは主に識別的な手法を使用しており、裏付けとなる理論的根拠を生成する重要性を見落としています。
根拠の抽出は、大規模言語モデル (LLM) から小規模言語モデル (SLM) に知識を転送するプロセスであり、これにより、後者の複雑なタスクを分解する能力が強化されます。
その利点にもかかわらず、理論的根拠の抽出だけでは、病気の診断などの専門知識を必要とするタスクにおけるドメイン知識の限界に対処するには不十分です。
ドメインの知識を SLM に効果的に組み込むことは、大きな課題となります。
現在の LLM は主にテキスト データの処理を目的としていますが、時系列データ、特に電子医療記録 (EHR) を組み込んだマルチモーダル LLM は依然として進化しています。
これらの制限に対処するために、疾患診断におけるマルチモーダルな理論的根拠の生成に最適化された SLM である ClinRaGen を紹介します。
ClinRaGen には、独自の知識拡張注意メカニズムが組み込まれており、分野の知識と時系列 EHR データをマージし、段階的な根拠抽出戦略を利用してテキストベースと時系列ベースの両方の臨床根拠を生成します。
私たちの評価では、ClinRaGen がマルチモーダル EHR データを解釈して正確な臨床理論的根拠を生成する SLM の能力を著しく向上させ、より信頼性の高い疾患診断をサポートし、ヘルスケアにおける LLM アプリケーションを進歩させ、LLM と SLM 間のパフォーマンス格差を狭めることが示されています。

要約(オリジナル)

Clinical rationales play a pivotal role in accurate disease diagnosis; however, many models predominantly use discriminative methods and overlook the importance of generating supportive rationales. Rationale distillation is a process that transfers knowledge from large language models (LLMs) to smaller language models (SLMs), thereby enhancing the latter’s ability to break down complex tasks. Despite its benefits, rationale distillation alone is inadequate for addressing domain knowledge limitations in tasks requiring specialized expertise, such as disease diagnosis. Effectively embedding domain knowledge in SLMs poses a significant challenge. While current LLMs are primarily geared toward processing textual data, multimodal LLMs that incorporate time series data, especially electronic health records (EHRs), are still evolving. To tackle these limitations, we introduce ClinRaGen, an SLM optimized for multimodal rationale generation in disease diagnosis. ClinRaGen incorporates a unique knowledge-augmented attention mechanism to merge domain knowledge with time series EHR data, utilizing a stepwise rationale distillation strategy to produce both textual and time series-based clinical rationales. Our evaluations show that ClinRaGen markedly improves the SLM’s capability to interpret multimodal EHR data and generate accurate clinical rationales, supporting more reliable disease diagnosis, advancing LLM applications in healthcare, and narrowing the performance divide between LLMs and SLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google