Disparate Model Performance and Stability in Machine Learning Clinical Support for Diabetes and Heart Diseases

要約

機械学習（ML）アルゴリズムは、生物医学情報学における臨床的意思決定を支援するために不可欠である。しかし、その予測性能は人口統計学的なグループによって異なることがあり、多くの場合、歴史的に疎外されてきた集団がトレーニングデータセットに十分に反映されていないことが原因である。本研究では、慢性疾患データセットとそこから導かれるMLモデルにおいて、性・年齢に関連した不公平が広く存在することを明らかにする。そこで、系統的な恣意性と、精度やデータの複雑さといった伝統的な指標を組み合わせた、新しい分析フレームワークを導入した。25,000人以上の慢性疾患患者のデータを分析した結果、性差は軽度で、男性の方が予測精度が高いことが明らかになった。特筆すべきは、高齢の患者は7つのデータセットで予測精度に一貫性がなく、データの複雑さとモデル性能の低さに関連していたことである。このことは、トレーニングデータの代表性だけでは公平な結果を保証するものではなく、臨床現場でモデルを展開する前にモデルの恣意性に対処しなければならないことを強調している。

要約(オリジナル)

Machine Learning (ML) algorithms are vital for supporting clinical decision-making in biomedical informatics. However, their predictive performance can vary across demographic groups, often due to the underrepresentation of historically marginalized populations in training datasets. The investigation reveals widespread sex- and age-related inequities in chronic disease datasets and their derived ML models. Thus, a novel analytical framework is introduced, combining systematic arbitrariness with traditional metrics like accuracy and data complexity. The analysis of data from over 25,000 individuals with chronic diseases revealed mild sex-related disparities, favoring predictive accuracy for males, and significant age-related differences, with better accuracy for younger patients. Notably, older patients showed inconsistent predictive accuracy across seven datasets, linked to higher data complexity and lower model performance. This highlights that representativeness in training data alone does not guarantee equitable outcomes, and model arbitrariness must be addressed before deploying models in clinical settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL