P-Transformer: A Prompt-based Multimodal Transformer Architecture For Medical Tabular Data

要約

電子医療記録 (EHR) に豊富に含まれる医療表データは、リスク予測などのさまざまな医療タスクにとって貴重なリソースです。
深層学習アプローチ、特にトランスフォーマーベースのモデルは、表形式データの予測において顕著なパフォーマンスを示していますが、構造化されていないフリーテキストの活用が不十分であること、データの探索が限られていることなど、既存の研究を医療分野に効果的に適用するにはまだ問題が残っています。
構造化データ内のテキスト情報、およびデータ破損。
これらの問題に対処するために、私たちは医療表データ専用に設計されたプロンプトベースのマルチモーダル Transformer アーキテクチャである P-Transformer を提案します。
このフレームワークは、表形式のセル埋め込みジェネレーターと表形式のトランスフォーマーという 2 つの重要なコンポーネントで構成されます。
前者は、事前にトレーニングされた文エンコーダーと医療プロンプトの助けを借りて、構造化表データと非構造化表データの両方から多様なモダリティを調和された言語意味空間に効率的にエンコードします。
後者は、セル表現を統合して、さまざまな医療タスク用の患者埋め込みを生成します。
3 つの医療タスクに対する 2 つの現実世界のデータセットに関する包括的な実験で、P-Transformer は、RMSE/MAE で 10.9%/11.0%、RMSE/MAE で 0.5%/2.2%、BACC/ で 1.6%/0.8% の改善を実証しました。
AUROC は、予測可能性において最先端 (SOTA) ベースラインと比較されました。
特に、このモデルは、特に破損率が高い場合に、構造化データ内のデータ破損に対する強い回復力を示しました。

要約(オリジナル)

Medical tabular data, abundant in Electronic Health Records (EHRs), is a valuable resource for diverse medical tasks such as risk prediction. While deep learning approaches, particularly transformer-based models, have shown remarkable performance in tabular data prediction, there are still problems remained for existing work to be effectively adapted into medical domain, such as under-utilization of unstructured free-texts, limited exploration of textual information in structured data, and data corruption. To address these issues, we propose P-Transformer, a Prompt-based multimodal Transformer architecture designed specifically for medical tabular data. This framework consists two critical components: a tabular cell embedding generator and a tabular transformer. The former efficiently encodes diverse modalities from both structured and unstructured tabular data into a harmonized language semantic space with the help of pre-trained sentence encoder and medical prompts. The latter integrates cell representations to generate patient embeddings for various medical tasks. In comprehensive experiments on two real-world datasets for three medical tasks, P-Transformer demonstrated the improvements with 10.9%/11.0% on RMSE/MAE, 0.5%/2.2% on RMSE/MAE, and 1.6%/0.8% on BACC/AUROC compared to state-of-the-art (SOTA) baselines in predictability. Notably, the model exhibited strong resilience to data corruption in the structured data, particularly when the corruption rates are high.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google