CARE-SD: Classifier-based analysis for recognizing and eliminating stigmatizing and doubt marker labels in electronic health records: model development and validation

要約

目的: 自然言語処理技術を使用して、集中治療用の電子医療記録 (EHR) における偏見のある言葉の特徴を検出し、分類すること。
材料と方法: まず、EHR 内の患者に対する非難のレッテル、疑いのマーカー、および恐怖の引用の言語的特徴について、文献主導の語幹単語から辞書と正規表現リストを作成しました。
この語彙集は Word2Vec と GPT 3.5 を使用してさらに拡張され、人間による評価を通じて改良されました。
これらの辞書は、匿名化された集中治療用医療情報マート III (MIMIC-III) データセットからの 1,800 万文にわたる一致を検索するために使用されました。
各言語バイアス特徴について、1000 文の一致がサンプリングされ、専門の臨床および公衆衛生のアノテーターによってラベルが付けられ、教師付き学習分類器に使用されました。
結果: 拡張された文献語幹語リストからの語彙集の開発により、58 の表現を含む疑わしいマーカーの語彙集と、127 の表現を含む非難ラベルの語彙集が得られました。
疑わしいマーカーと非難ラベルの分類子は最高のパフォーマンスを示し、マクロ F1 スコアは 0.84 および 0.79、陽性ラベルの再現率と精度の値は 0.71 から 0.86 の範囲であり、精度は人間のアノテーターの合意 (.87) とほぼ一致していました。
）。
考察: この研究では、医療文書内の非難ラベルと疑問マーカーを自動的に識別する教師あり分類器の実現可能性を実証し、EHR 環境における非難言語使用の傾向を特定しました。
追加のラベル付きデータは、低恐怖見積りモデルのパフォーマンスを向上させるのに役立つ場合があります。
結論: この研究で開発された分類器は高いモデル性能を示しており、医療システムにおける偏見を与えるラベルや疑いのマーカーを減らすためのパターンの特定と介入の目標に適用することができます。

要約(オリジナル)

Objective: To detect and classify features of stigmatizing and biased language in intensive care electronic health records (EHRs) using natural language processing techniques. Materials and Methods: We first created a lexicon and regular expression lists from literature-driven stem words for linguistic features of stigmatizing patient labels, doubt markers, and scare quotes within EHRs. The lexicon was further extended using Word2Vec and GPT 3.5, and refined through human evaluation. These lexicons were used to search for matches across 18 million sentences from the de-identified Medical Information Mart for Intensive Care-III (MIMIC-III) dataset. For each linguistic bias feature, 1000 sentence matches were sampled, labeled by expert clinical and public health annotators, and used to supervised learning classifiers. Results: Lexicon development from expanded literature stem-word lists resulted in a doubt marker lexicon containing 58 expressions, and a stigmatizing labels lexicon containing 127 expressions. Classifiers for doubt markers and stigmatizing labels had the highest performance, with macro F1-scores of .84 and .79, positive-label recall and precision values ranging from .71 to .86, and accuracies aligning closely with human annotator agreement (.87). Discussion: This study demonstrated the feasibility of supervised classifiers in automatically identifying stigmatizing labels and doubt markers in medical text, and identified trends in stigmatizing language use in an EHR setting. Additional labeled data may help improve lower scare quote model performance. Conclusions: Classifiers developed in this study showed high model performance and can be applied to identify patterns and target interventions to reduce stigmatizing labels and doubt markers in healthcare systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google