In the Name of Fairness: Assessing the Bias in Clinical Record De-identification

要約

データ共有はオープンサイエンスと再現可能な研究にとって極めて重要であるが、臨床データを合法的に共有するためには、電子カルテから保護されるべき医療情報を除去する必要がある。非識別化として知られるこのプロセスは、多くの商用およびオープンソースシステムによる機械学習アルゴリズムの使用によって達成されることが多い。これらのシステムは、平均的には説得力のある結果を示しているが、異なる人口統計グループ間での性能のばらつきは十分に検討されていない。本研究では、大規模な経験的分析を通じて、クリニカルノート中の氏名に対する非識別化システムの偏りを調査する。そのために、性別、人種、名前の人気度、人気の年代という4つの人口統計学的次元で異なる16の名前セットを作成する。これらの姓名を100の臨床テンプレートに手作業で挿入し、9つの公開および非公開の非識別化手法の性能を評価した。その結果、ほとんどの手法において、人口統計学的次元の大部分において統計的に有意な性能差があることが明らかになった。さらに、非識別化の品質は、名前の多義性、性別の文脈、および臨床ノートの特徴に影響されることを示す。特定されたギャップを緩和するために、我々は、臨床的文脈と多様な名前を用いて非識別化手法を微調整することにより、シンプルで手法に依存しない解決策を提案する。全体として、下流の利害関係者がすべての人口統計関係者に公平にサービスを提供する高品質のシステムを構築できるように、既存の手法の偏りに直ちに対処することが不可欠である。

要約(オリジナル)

Data sharing is crucial for open science and reproducible research, but the legal sharing of clinical data requires the removal of protected health information from electronic health records. This process, known as de-identification, is often achieved through the use of machine learning algorithms by many commercial and open-source systems. While these systems have shown compelling results on average, the variation in their performance across different demographic groups has not been thoroughly examined. In this work, we investigate the bias of de-identification systems on names in clinical notes via a large-scale empirical analysis. To achieve this, we create 16 name sets that vary along four demographic dimensions: gender, race, name popularity, and the decade of popularity. We insert these names into 100 manually curated clinical templates and evaluate the performance of nine public and private de-identification methods. Our findings reveal that there are statistically significant performance gaps along a majority of the demographic dimensions in most methods. We further illustrate that de-identification quality is affected by polysemy in names, gender context, and clinical note characteristics. To mitigate the identified gaps, we propose a simple and method-agnostic solution by fine-tuning de-identification methods with clinical context and diverse names. Overall, it is imperative to address the bias in existing methods immediately so that downstream stakeholders can build high-quality systems to serve all demographic parties fairly.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL