Updating Clinical Risk Stratification Models Using Rank-Based Compatibility: Approaches for Evaluating and Optimizing Clinician-Model Team Performance

要約

データの移行や新しいデータが利用可能になると、長期にわたってパフォーマンスを維持または向上させるために臨床機械学習モデルの更新が必要になる場合があります。
ただし、モデルを更新すると、更新されたモデルの動作がユーザーの期待と一致しない場合に互換性の問題が発生し、ユーザー モデル チームのパフォーマンスが低下する可能性があります。
既存の互換性測定はモデルの決定しきい値に依存しており、推定リスクに基づいてランキングを生成するためにモデルが使用される設定での適用性が制限されています。
この制限に対処するために、新しいランクベースの互換性尺度 $C^R$ と、良好な互換性を促進しながら識別パフォーマンスを最適化することを目的とした新しい損失関数を提案します。
MIMIC のデータを活用した死亡リスク層別化のケーススタディに適用すると、既存のモデル選択手法と比較して識別性能を維持しながら、より互換性の高いモデルが得られ、$C^R$ が $0.019$ ($95\%$ 信頼区間) 増加します。
: $0.005$、$0.035$)。
この研究は、臨床ケアで使用されるリスク層別モデルを分析および更新するための新しいツールを提供します。

要約(オリジナル)

As data shift or new data become available, updating clinical machine learning models may be necessary to maintain or improve performance over time. However, updating a model can introduce compatibility issues when the behavior of the updated model does not align with user expectations, resulting in poor user-model team performance. Existing compatibility measures depend on model decision thresholds, limiting their applicability in settings where models are used to generate rankings based on estimated risk. To address this limitation, we propose a novel rank-based compatibility measure, $C^R$, and a new loss function that aims to optimize discriminative performance while encouraging good compatibility. Applied to a case study in mortality risk stratification leveraging data from MIMIC, our approach yields more compatible models while maintaining discriminative performance compared to existing model selection techniques, with an increase in $C^R$ of $0.019$ ($95\%$ confidence interval: $0.005$, $0.035$). This work provides new tools to analyze and update risk stratification models used in clinical care.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google