Multi-Modal Perceiver Language Model for Outcome Prediction in Emergency Department

要約

【タイトル】- 緊急医療におけるアウトカム予測のためのマルチモーダルパーセプターランゲージモデル
【要約】- 言語モデリングは、優れた精度と高い意味的整合性を持つ魅力的なテキストを生成する上で、驚異的な進歩を遂げてきました。興味深い研究方向は、文脈情報を用いてこれらの強力なモデルを特定のアプリケーション向けに拡張することです。本研究では、ヘルスケアアプリケーション向けのマルチモーダル言語モデリングを探索しています。私たちは、トリアージで記録された主訴とバイタルサインのテキスト情報に基づいて、病院救急部でのアウトカム予測と患者トリアージに興味があります。私たちは、幾つかのアプリケーションで有望な結果を示したモダリティに対してアグノスティックなトランスフォーマーベースのPerceiverを適合させます。バイタルサインモダリティは表形式で表されるため、モデルに順序不変性を確保するためにPerceiverの位置エンコーディングを変更しました。 MIMIC-IV EDデータセットを使用して、診断コードの予測のタスクのためにマルチモーダル言語モデルを評価しました。実験的分析では、マルチモダル性がテキストまたはバイタルサインのみでトレーニングされたモデルと比較して予測性能を改善することを示します。マルチモダル性が性能改善につながる疾患カテゴリを特定し、これらのカテゴリについて、バイタルサインが追加の予測力を持っていることを示します。交差注意層を分析することにより、マルチモダル性がモデルの予測にどのように貢献するかを示します。この研究は、ヘルスケアアプリケーション向けのマルチモーダル言語モデルの開発に関する興味深い洞察を提供しています。

【要点】
– 言語モデリングを、文脈情報を用いて特定のアプリケーション向けに拡張することを探究
– ヘルスケアアプリケーションにおけるマルチモーダル言語モデリングを検討
– 主訴とバイタルサインのテキスト情報に基づいて緊急医療のアウトカム予測と患者トリアージに興味
– Perceiverを適合させ、バイタルサインモダリティを表形式で表すため、Perceiverの位置エンコーディングを変更
– マルチモーダル言語モデルを使用して、診断コードの予測のタスクのためにMIMIC-IV EDデータセットを評価
– マルチモダル性が予測性能を改善し、バイタルサインが追加の予測力を持つ疾患カテゴリが特定された
– 交差注意層を分析して、マルチモダル性がモデルの予測にどのように貢献するかを示した
– ヘルスケアアプリケーション向けのマルチモーダル言語モデルの開発に興味深い洞察を提供

要約(オリジナル)

Language modeling have shown impressive progress in generating compelling text with good accuracy and high semantic coherence. An interesting research direction is to augment these powerful models for specific applications using contextual information. In this work, we explore multi-modal language modeling for healthcare applications. We are interested in outcome prediction and patient triage in hospital emergency department based on text information in chief complaints and vital signs recorded at triage. We adapt Perceiver – a modality-agnostic transformer-based model that has shown promising results in several applications. Since vital-sign modality is represented in tabular format, we modified Perceiver position encoding to ensure permutation invariance. We evaluated the multi-modal language model for the task of diagnosis code prediction using MIMIC-IV ED dataset on 120K visits. In the experimental analysis, we show that mutli-modality improves the prediction performance compared with models trained solely on text or vital signs. We identified disease categories for which multi-modality leads to performance improvement and show that for these categories, vital signs have added predictive power. By analyzing the cross-attention layer, we show how multi-modality contributes to model predictions. This work gives interesting insights on the development of multi-modal language models for healthcare applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI