Cross-Care: Assessing the Healthcare Implications of Pre-training Data on Language Model Bias

要約

大規模言語モデル (LLM) は、自然言語を処理する上でますます不可欠になっていますが、そのアプリケーションは、トレーニング データに起因するバイアスや不正確さによって頻繁に損なわれます。
この研究では、LLM におけるバイアスと現実世界の知識の評価に特化した初のベンチマーク フレームワークである Cross-Care を紹介します。特に、多様な人口統計グループにわたる疾患の有病率の表現に焦点を当てています。
$ThePile$ のような事前トレーニング コーパスに埋め込まれた人口統計上のバイアスが LLM の出力にどのような影響を与えるかを系統的に評価します。
私たちは、これらのバイアスを米国のさまざまな人口統計グループにおける実際の病気の有病率と並べることで、矛盾を明らかにし、定量化します。
私たちの結果は、LLMによる疾患有病率の表現と、人口統計上のサブグループ全体にわたる実際の疾患有病率との間に大きな不一致があることを浮き彫りにしており、偏りが伝播する顕著なリスクと、LLMの医療応用に対する現実世界の根拠の欠如を示しています。
さらに、さまざまな位置合わせ方法により、さまざまな言語間でのモデルの疾患罹患率の表現における不一致が最小限に解決されることが観察されました。
さらに調査と分析を行うために、すべてのデータとデータ視覚化ツールを www.crosscare.net で入手できます。

要約(オリジナル)

Large language models (LLMs) are increasingly essential in processing natural languages, yet their application is frequently compromised by biases and inaccuracies originating in their training data. In this study, we introduce Cross-Care, the first benchmark framework dedicated to assessing biases and real world knowledge in LLMs, specifically focusing on the representation of disease prevalence across diverse demographic groups. We systematically evaluate how demographic biases embedded in pre-training corpora like $ThePile$ influence the outputs of LLMs. We expose and quantify discrepancies by juxtaposing these biases against actual disease prevalences in various U.S. demographic groups. Our results highlight substantial misalignment between LLM representation of disease prevalence and real disease prevalence rates across demographic subgroups, indicating a pronounced risk of bias propagation and a lack of real-world grounding for medical applications of LLMs. Furthermore, we observe that various alignment methods minimally resolve inconsistencies in the models’ representation of disease prevalence across different languages. For further exploration and analysis, we make all data and a data visualization tool available at: www.crosscare.net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google