Knowledge-Augmented Multimodal Clinical Rationale Generation for Disease Diagnosis with Small Language Models

要約

解釈は疾患の診断にとって重要ですが、既存のモデルは、予測精度と人間に理解できる理論的根拠のバランスをとるのに苦労しています。
大規模な言語モデル（LLM）は強力な推論能力を提供しますが、それらの臨床使用は、高い計算コストと制限されたマルチモーダル推論能力によって制限されます。
小言語モデル（SLM）は効率的ですが、マルチモーダル医療データを統合するための高度な推論がありません。
さらに、LLMSとSLMの両方が、信頼できる推論のためのドメイン知識が不足していません。
したがって、Clinragenを提案し、信頼できるマルチモーダルの根拠生成のための理論的蒸留とドメイン知識インジェクションを介してLLM由来の推論能力を活用することによりSLMを強化します。
主要な革新には、SLMにLLMと比較可能なミトリモーダル推論能力を装備する連続的な根拠の蒸留フレームワークと、同じエンコーディング空間の時系列とテキストデータからマルチモーダル表現を共同で統合し、信頼できる領域の世代のためにドメインの知識を引き起こしながら自然に解釈します。
実際の医療データセットでの実験は、Clinragenが疾患の診断と根拠の生成において最先端のパフォーマンスを達成し、LLM駆動型の推論と解釈可能性の改善のための知識の増強を組み合わせることの有効性を実証することを示しています。

要約(オリジナル)

Interpretation is critical for disease diagnosis, but existing models struggle to balance predictive accuracy with human-understandable rationales. While large language models (LLMs) offer strong reasoning abilities, their clinical use is limited by high computational costs and restricted multimodal reasoning ability. Small language models (SLMs) are efficient but lack advanced reasoning for integrating multimodal medical data. In addition, both LLMs and SLMs lack of domain knowledge for trustworthy reasoning. Therefore, we propose ClinRaGen, enhancing SLMs by leveraging LLM-derived reasoning ability via rationale distillation and domain knowledge injection for trustworthy multimodal rationale generation. Key innovations include a sequential rationale distillation framework that equips SLMs with LLM-comparable mutlimodal reasoning abilities, and a knowledge-augmented attention mechanism that jointly unifies multimodal representation from time series and textual data in a same encoding space, enabling it naturally interpreted by SLMs while incorporating domain knowledge for reliable rationale generation. Experiments on real-world medical datasets show that ClinRaGen achieves state-of-the-art performance in disease diagnosis and rationale generation, demonstrating the effectiveness of combining LLM-driven reasoning with knowledge augmentation for improved interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google