When accurate prediction models yield harmful self-fulfilling prophecies

要約

予測モデルは、医学研究や医療現場でよく使われています。
これらのモデルは、特定の患者にとって関心のある結果を予測することにより、難しい治療法決定に情報を提供するのに役立つ可能性があり、パーソナライズされたデータ主導型医療の代表格として賞賛されることがよくあります。
ただし、意思決定に予測モデルを使用すると、展開後に予測が適切に区別された場合でも、有害な決定につながる可能性があることを示します。
これらのモデルは有害な自己成就的予言です。その導入は患者グループに害を及ぼしますが、これらの患者の転帰が悪化してもモデルの予測力が無効になるわけではありません。
私たちの主な結果は、そのような予測モデルのセットの正式な特徴付けです。
次に、展開の前後で適切に調整されたモデルは、データ分布に変更を加えていないため、意思決定には役に立たないことを示します。
これらの結果は、医療上の意思決定に使用される予測モデルの検証、導入、評価に関する標準的な実践を改訂する必要があることを示しています。

要約(オリジナル)

Prediction models are popular in medical research and practice. By predicting an outcome of interest for specific patients, these models may help inform difficult treatment decisions, and are often hailed as the poster children for personalized, data-driven healthcare. We show however, that using prediction models for decision making can lead to harmful decisions, even when the predictions exhibit good discrimination after deployment. These models are harmful self-fulfilling prophecies: their deployment harms a group of patients but the worse outcome of these patients does not invalidate the predictive power of the model. Our main result is a formal characterization of a set of such prediction models. Next we show that models that are well calibrated before and after deployment are useless for decision making as they made no change in the data distribution. These results point to the need to revise standard practices for validation, deployment and evaluation of prediction models that are used in medical decisions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google