A causal viewpoint on prediction model performance under changes in case-mix: discrimination and calibration respond differently for prognosis and diagnosis predictions

要約

予測モデルは、臨床的決定を通知し、診断、予後、および治療計画の支援に応じて、信頼できる予測パフォーマンスを必要とします。
これらのモデルの予測パフォーマンスは、通常、差別とキャリブレーションを通じて評価されます。
データに影響を与えるモデルのパフォーマンスの分布の変化と、モデルの現在のアプリケーションとそのパフォーマンスが最後に評価された時期と場所との間に重要な変更がある場合があります。
ヘルスケアでは、典型的な変化はケースミックスのシフトです。
たとえば、心血管リスク管理の場合、一般開業医は、三次病院の専門家とは異なる患者の混合物を見ています。
この作業では、予測タスクの因果的方向に基づいて、識別とキャリブレーションに対するケースミックスシフトの影響を区別する新しいフレームワークを紹介します。
予測が因果的方向にある場合（多くの場合、予後予測の場合）、格差はケースミックスシフト下ではキャリブレーションは安定したままですが、差別はそうではありません。
逆に、反因果方向（診断予測があることが多い）で予測する場合、識別は安定したままですが、キャリブレーションはそうではありません。
心血管疾患予測モデルを使用したシミュレーション研究と経験的検証は、このフレームワークの意味を示しています。
因果的なケースミックスフレームワークは、予測タスクの因果構造を理解することの重要性を強調し、さまざまな臨床設定にわたって予測モデルの開発、評価、展開に関する洞察を提供します。

要約(オリジナル)

Prediction models need reliable predictive performance as they inform clinical decisions, aiding in diagnosis, prognosis, and treatment planning. The predictive performance of these models is typically assessed through discrimination and calibration. Changes in the distribution of the data impact model performance and there may be important changes between a model’s current application and when and where its performance was last evaluated. In health-care, a typical change is a shift in case-mix. For example, for cardiovascular risk management, a general practitioner sees a different mix of patients than a specialist in a tertiary hospital. This work introduces a novel framework that differentiates the effects of case-mix shifts on discrimination and calibration based on the causal direction of the prediction task. When prediction is in the causal direction (often the case for prognosis predictions), calibration remains stable under case-mix shifts, while discrimination does not. Conversely, when predicting in the anti-causal direction (often with diagnosis predictions), discrimination remains stable, but calibration does not. A simulation study and empirical validation using cardiovascular disease prediction models demonstrate the implications of this framework. The causal case-mix framework provides insights for developing, evaluating and deploying prediction models across different clinical settings, emphasizing the importance of understanding the causal structure of the prediction task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google