Generalisability of deep learning-based early warning in the intensive care unit: a retrospective empirical evaluation

要約

ディープ ラーニング (DL) は、医師が患者の状態の悪化を早期に検出し、反応して悪い結果を防ぐための時間を与えるのに役立ちます。
DL ベースの早期警告モデルは通常、訓練を受けた病院ではうまく機能しますが、新しい病院に適用すると信頼性が低下する傾向があります。
これにより、それらを大規模に展開することが困難になります。
ヨーロッパと米国の 4 つのデータ ソース (合計 334,812 滞在) から慎重に調整された集中治療データを使用して、死亡、急性腎障害 (AKI)、および敗血症の 3 つの一般的な有害事象に対する DL モデルの信頼性を体系的に評価しました。
複数のデータ ソースを使用したり、トレーニング中に一般化のために明示的に最適化したりすることで、新しい病院でのモデルのパフォーマンスが向上するかどうかをテストしました。
モデルは、訓練病院で死亡率 (0.838-0.869)、AKI (0.823-0.866)、敗血症 (0.749-0.824) で高い AUROC を達成したことがわかりました。
予想どおり、新しい病院ではパフォーマンスが低下し、場合によっては -0.200 も低下しました。
トレーニングに複数のデータ ソースを使用すると、パフォーマンスの低下が軽減され、マルチソース モデルは最高の単一ソース モデルとほぼ同等のパフォーマンスを示しました。
これは、より多くの病院からのデータがトレーニングに利用できるようになるにつれて、モデルのロバスト性が向上し、トレーニング データ内の最も適用可能なデータ ソースのパフォーマンスによってロバスト性が低下する可能性があることを示唆しています。
一般化を促進する専用のメソッドは、実験のパフォーマンスを著しく改善しませんでした。

要約(オリジナル)

Deep learning (DL) can aid doctors in detecting worsening patient states early, affording them time to react and prevent bad outcomes. While DL-based early warning models usually work well in the hospitals they were trained for, they tend to be less reliable when applied at new hospitals. This makes it difficult to deploy them at scale. Using carefully harmonised intensive care data from four data sources across Europe and the US (totalling 334,812 stays), we systematically assessed the reliability of DL models for three common adverse events: death, acute kidney injury (AKI), and sepsis. We tested whether using more than one data source and/or explicitly optimising for generalisability during training improves model performance at new hospitals. We found that models achieved high AUROC for mortality (0.838-0.869), AKI (0.823-0.866), and sepsis (0.749-0.824) at the training hospital. As expected, performance dropped at new hospitals, sometimes by as much as -0.200. Using more than one data source for training mitigated the performance drop, with multi-source models performing roughly on par with the best single-source model. This suggests that as data from more hospitals become available for training, model robustness is likely to increase, lower-bounding robustness with the performance of the most applicable data source in the training data. Dedicated methods promoting generalisability did not noticeably improve performance in our experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google