Echoes of Biases: How Stigmatizing Language Affects AI Performance

要約

電子医療記録 (EHR) は、人工知能 (AI) を活用した医療分野の変革に不可欠なデータ ソースとして機能します。
ただし、EHR ノートに反映されている臨床医のバイアスは、AI モデルにこれらのバイアスを継承および増幅させ、健康格差を永続させる可能性があります。
この研究では、Transformer ベースの深層学習モデルと説明可能な AI (XAI) 技術を使用して、EHR メモ内の非難する言葉 (SL) が死亡率予測に及ぼす影響を調査します。
私たちの調査結果は、臨床医が作成した SL が AI のパフォーマンスに悪影響を及ぼし、特に黒人患者に悪影響を与えることを示しており、AI モデル開発における人種格差の原因として SL が浮き彫りになっています。
SL の影響を軽減する運用上効率的な方法を探るため、臨床医の協力ネットワークを通じて SL の生成パターンを調査し、AI モデルにおける人種格差により強い影響を与えている中央臨床医を特定しました。
私たちは、中央臨床医によって書かれた SL を削除する方が、データのコーパス全体からすべての SL を削除するよりも効率的なバイアス削減戦略であることを発見しました。
この研究は、責任ある AI 開発のための実用的な洞察を提供し、医療における臨床医の行動と EHR ノートの書き方の理解に貢献します。

要約(オリジナル)

Electronic health records (EHRs) serve as an essential data source for the envisioned artificial intelligence (AI)-driven transformation in healthcare. However, clinician biases reflected in EHR notes can lead to AI models inheriting and amplifying these biases, perpetuating health disparities. This study investigates the impact of stigmatizing language (SL) in EHR notes on mortality prediction using a Transformer-based deep learning model and explainable AI (XAI) techniques. Our findings demonstrate that SL written by clinicians adversely affects AI performance, particularly so for black patients, highlighting SL as a source of racial disparity in AI model development. To explore an operationally efficient way to mitigate SL’s impact, we investigate patterns in the generation of SL through a clinicians’ collaborative network, identifying central clinicians as having a stronger impact on racial disparity in the AI model. We find that removing SL written by central clinicians is a more efficient bias reduction strategy than eliminating all SL in the entire corpus of data. This study provides actionable insights for responsible AI development and contributes to understanding clinician behavior and EHR note writing in healthcare.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google