CORE-BEHRT: A Carefully Optimized and Rigorously Evaluated BEHRT

要約

電子医療記録 (EHR) 用の BERT ベースのモデルは、BEHRT と Med-BERT のリリース後、人気が急上昇しました。
これらの先駆的なモデルの基本的な設計上の選択はまだ検討されていないにもかかわらず、後続のモデルは主にこれらの基盤に基づいて構築されています。
この問題に対処するために、慎重に最適化され厳密に評価された BEHRT である CORE-BEHRT を導入します。
段階的な最適化を通じて、主要な設計上の選択に対する改善の原因を特定し、データ表現と個々の技術コンポーネントがパフォーマンスに及ぼす影響についての洞察を得ることができます。
これを一連の一般的なタスク (死亡、痛みの治療、一般的な感染症) にわたって評価したところ、データ表現を改善することで、主に投薬とタイムスタンプを含む場合に、ダウンストリームの平均パフォーマンスが 0.785 AUROC から 0.797 AUROC に向上する可能性があることがわかりました。
これに加えてアーキテクチャとトレーニング プロトコルを改善することで、ダウンストリームの平均パフォーマンスが 0.801 AUROC に向上しました。
次に、25 の多様な臨床予測タスクにわたる厳密な評価を通じて、最適化の一貫性を実証しました。
25 タスク中 17 タスクでパフォーマンスが大幅に向上し、24 タスクで改善が見られ、調査結果の一般化可能性が強調されました。
私たちの調査結果は将来の研究のための強力な基盤を提供し、BERT ベースの EHR モデルの信頼性を高めることを目指しています。

要約(オリジナル)

BERT-based models for Electronic Health Records (EHR) have surged in popularity following the release of BEHRT and Med-BERT. Subsequent models have largely built on these foundations despite the fundamental design choices of these pioneering models remaining underexplored. To address this issue, we introduce CORE-BEHRT, a Carefully Optimized and Rigorously Evaluated BEHRT. Through incremental optimization, we isolate the sources of improvement for key design choices, giving us insights into the effect of data representation and individual technical components on performance. Evaluating this across a set of generic tasks (death, pain treatment, and general infection), we showed that improving data representation can increase the average downstream performance from 0.785 to 0.797 AUROC, primarily when including medication and timestamps. Improving the architecture and training protocol on top of this increased average downstream performance to 0.801 AUROC. We then demonstrated the consistency of our optimization through a rigorous evaluation across 25 diverse clinical prediction tasks. We observed significant performance increases in 17 out of 25 tasks and improvements in 24 tasks, highlighting the generalizability of our findings. Our findings provide a strong foundation for future work and aim to increase the trustworthiness of BERT-based EHR models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google