SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models

要約

電子医療記録 (EHR) への Transformer ニューラル ネットワークの適用は、EHR データの明確な多次元連続構造により困難であり、単純な線形モデルと比較するとパフォーマンスが低下することがよくあります。
したがって、効率的な転移学習やスケーラビリティの向上などの Transformer の利点は、EHR アプリケーションでは十分に活用されていません。
これらの課題を克服するために、EHR データの固有の特性に対応するために、誘導バイアスを使用して特別に設計された新しいアテンションフリー逐次モデルである SANSformer を紹介します。
私たちの主な応用分野は、将来の医療利用の予測であり、医療リソースを効果的に割り当てるための重要なタスクです。
この作業は、多様な患者サブグループを扱う場合に特に困難になります。
これらのサブグループは、独特の健康状態の軌跡を特徴とし、希少疾患患者など規模が小さいことが多いため、特殊なモデリング アプローチが必要です。
これに対処するために、私たちは自己教師あり事前トレーニング戦略を採用し、これを生成要約事前トレーニング (GSP) と呼んでいます。
GSP は、患者の過去の健康記録に基づいて、患者の病歴における将来の期間の要約統計を予測するため、EHR データのノイズが多く複雑な性質に対処できる可能性を示しています。
私たちは、特定のサブグループ予測タスクに合わせてモデルを微調整する前に、100 万人近くの患者を含む包括的な健康登録に基づいてモデルを事前トレーニングします。
私たちの評価では、SANSformer は一貫して強力な EHR ベースラインを上回っています。
重要なのは、当社の GSP 事前トレーニング手法は、特に小規模な患者サブグループの場合、モデルのパフォーマンスを大幅に向上させることです。
私たちの調査結果は、幅広い患者グループにわたる医療利用予測を強化するための、オーダーメイドのアテンションフリー モデルと自己教師付き事前トレーニングの大きな可能性を強調しています。

要約(オリジナル)

The application of Transformer neural networks to Electronic Health Records (EHR) is challenging due to the distinct, multidimensional sequential structure of EHR data, often leading to underperformance when compared to simpler linear models. Thus, the advantages of Transformers, such as efficient transfer learning and improved scalability are not fully exploited in EHR applications. To overcome these challenges, we introduce SANSformer, a novel attention-free sequential model designed specifically with inductive biases to cater for the unique characteristics of EHR data. Our main application area is predicting future healthcare utilization, a crucial task for effectively allocating healthcare resources. This task becomes particularly difficult when dealing with divergent patient subgroups. These subgroups, characterized by unique health trajectories and often small in size, such as patients with rare diseases, require specialized modeling approaches. To address this, we adopt a self-supervised pretraining strategy, which we term Generative Summary Pretraining (GSP). GSP predicts summary statistics of a future window in the patient’s history based on their past health records, thus demonstrating potential to deal with the noisy and complex nature of EHR data. We pretrain our models on a comprehensive health registry encompassing close to one million patients, before fine-tuning them for specific subgroup prediction tasks. In our evaluations, SANSformer consistently outshines strong EHR baselines. Importantly, our GSP pretraining method greatly enhances model performance, especially for smaller patient subgroups. Our findings underscore the substantial potential of bespoke attention-free models and self-supervised pretraining for enhancing healthcare utilization predictions across a broad range of patient groups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google