Examining Imbalance Effects on Performance and Demographic Fairness of Clinical Language Models

要約

データの不均衡は、言語モデルを生物医学アプリケーションに適用する際、特にラベルと人口統計の分布が不均一な ICD コード予測タスクにおいて根本的な課題です。
最先端の言語モデルが生物医学的タスクに採用されることが増えていますが、データの不均衡が人口統計グループ全体でモデルのパフォーマンスと公平性にどのような影響を与えるかを体系的に調査した研究はほとんどありません。
この研究は、ICD コード予測におけるデータの不均衡とモデルのパフォーマンスの関係を統計的に調査することでギャップを埋めます。
私たちは、最先端の生物医学言語モデルを使用して、性別、年齢、民族、健康の社会的決定要因にわたる標準的なベンチマーク データの不均衡を分析します。
さまざまなパフォーマンス指標と統計分析を展開することで、データの不均衡がパフォーマンスの変動と人口統計上の公平性に及ぼす影響を調査します。
私たちの研究は、データの不均衡がモデルのパフォーマンスと公平性に大きな影響を与えるが、多数派クラスとの特徴の類似性がより重要な要素である可能性があることを示しています。
この研究は、医療アプリケーションにおいてより公平で堅牢な言語モデルを開発するための貴重な洞察を提供すると信じています。

要約(オリジナル)

Data imbalance is a fundamental challenge in applying language models to biomedical applications, particularly in ICD code prediction tasks where label and demographic distributions are uneven. While state-of-the-art language models have been increasingly adopted in biomedical tasks, few studies have systematically examined how data imbalance affects model performance and fairness across demographic groups. This study fills the gap by statistically probing the relationship between data imbalance and model performance in ICD code prediction. We analyze imbalances in a standard benchmark data across gender, age, ethnicity, and social determinants of health by state-of-the-art biomedical language models. By deploying diverse performance metrics and statistical analyses, we explore the influence of data imbalance on performance variations and demographic fairness. Our study shows that data imbalance significantly impacts model performance and fairness, but feature similarity to the majority class may be a more critical factor. We believe this study provides valuable insights for developing more equitable and robust language models in healthcare applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google