Echoes of Biases: How Stigmatizing Language Affects AI Performance

要約

電子カルテ（EHR）は、人工知能（AI）を活用したヘルスケアの変革を想定する上で不可欠なデータソースとして機能します。しかし、EHRのメモに反映される臨床医のバイアスは、AIモデルがこれらのバイアスを継承し増幅することにつながり、健康格差を永続させる可能性があります。本研究では、Transformerベースのディープラーニングモデルと説明可能なAI（XAI）技術を使用して、EHRメモに含まれるスティグマ化言語（SL）が死亡率予測に与える影響を調査しました。その結果、臨床医が書いたSLはAIの性能に悪影響を及ぼし、特に黒人患者に対してその傾向が強いことが明らかになり、AIモデル開発における人種間格差の原因としてSLが浮き彫りになりました。SLの影響を軽減するための効率的な方法を探るため、臨床医の共同ネットワークを通じたSLの生成パターンを調査し、AIモデルの人種格差に強い影響を与える中央の臨床医を特定しました。中央の臨床医が書いたSLを削除することは、データコーパス全体のSLをすべて削除するよりも効率的なバイアス低減戦略であることを発見しました。本研究は、責任あるAI開発のための実用的な洞察を提供し、医療における臨床医の行動とEHRノートライティングの理解に寄与する。

要約(オリジナル)

Electronic health records (EHRs) serve as an essential data source for the envisioned artificial intelligence (AI)-driven transformation in healthcare. However, clinician biases reflected in EHR notes can lead to AI models inheriting and amplifying these biases, perpetuating health disparities. This study investigates the impact of stigmatizing language (SL) in EHR notes on mortality prediction using a Transformer-based deep learning model and explainable AI (XAI) techniques. Our findings demonstrate that SL written by clinicians adversely affects AI performance, particularly so for black patients, highlighting SL as a source of racial disparity in AI model development. To explore an operationally efficient way to mitigate SL’s impact, we investigate patterns in the generation of SL through a clinicians’ collaborative network, identifying central clinicians as having a stronger impact on racial disparity in the AI model. We find that removing SL written by central clinicians is a more efficient bias reduction strategy than eliminating all SL in the entire corpus of data. This study provides actionable insights for responsible AI development and contributes to understanding clinician behavior and EHR note writing in healthcare.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL