A Prompt-based Multimodal Tabular Transformer Encoder For Medical Intervention Duration Estimation

要約

目的: この研究は、臨床意思決定支援において電子医療記録 (EHR) を使用して医療介入の期間を推定することに焦点を当てています。
既存のモデルのほとんどは構造化された表形式データのみを対象として設計されており、データ破損の問題が発生することがよくあります。
貴重な洞察を提供し、データ破損に対する耐性が高い非構造化臨床フリーテキスト データは、しばしば見落とされます。
この研究の目的は、EHR のさまざまなデータ モダリティを統合するマルチモーダル深層学習フレームワークを開発し、それによって EHR の予測機能を医療介入推定に最大限に活用することです。
材料と方法: マルチモーダル EHR データに基づいて医療介入期間を推定するための、新しいプロンプトベースの表形式変圧器エンコーダー フレームワークが提案されています。
このフレームワークは、医療プロンプトを備えた事前トレーニング済みのセンテンス エンコーダを利用して、さまざまな臨床データ モダリティの言語表現を調和させます。表形式のトランスフォーマー エンコーダは、これをさらに探索するために開発されています。
結果: 開発されたモデルは、2 つの EHR データセットのベースラインと比較して優れたパフォーマンスを示しています。
さらに、このモデルは EHR でのデータ破損に対する回復力を示し、破損率が高くなると RMSE 曲線が徐々に増加します。
考察: 提案されたフレームワークの予測有効性と堅牢性以外に、アブレーション研究は、医療プロンプト、フリーテキスト情報、事前訓練された文エンコーダーなどの重要なコンポーネントの重要性を強調しており、これらはすべてモデルの予測能力に貢献しています。
結論: この研究は、言語の観点から多様なデータモダリティを組み込むことで医療介入の推定を強化し、最終的に臨床ケアにおけるディープラーニングモデルの信頼性を強化する有望な道筋を示しています。

要約(オリジナル)

Objective: This study focuses on estimating the duration of medical interventions using electronic health records (EHRs) in clinical decision support. Most existing models were designed for structured tabular data only and often suffer from data corruption problem. The unstructured clinical free-text data that provides valuable insights and is more resistant to data corruption is often overlooked. The objective of this research is to develop a multimodal deep learning framework that integrates different data modalities from EHRs, thereby fully utilizing the predictive capability of EHRs for medical intervention estimation. Materials and Methods: A novel prompt-based tabular transformer encoder framework is proposed for medical intervention duration estimation based on multimodal EHR data. The framework leverages a pre-trained sentence encoder with medical prompts to harmonize language representations of various clinical data modalities, which a tabular transformer encoder is developed to further explore. Results: The developed model demonstrates superior performance compared to the baselines in two EHR datasets. Furthermore, the model exhibits resilience to data corruption in EHRs, with the RMSE curve increasing gradually with higher corruption rates. Discussion: Other than the predictive effectiveness and robustness of the proposed framework, the ablation study highlights the significance of critical components, such as medical prompts, free-text information, and the pre-trained sentence encoder, all contributing to the model’s predictive ability. Conclusion: This research presents a promising pathway to enhance medical intervention estimation by incorporating diverse data modalities from language perspective, ultimately bolstering the reliability of deep learning models in clinical care.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google