Seeds of Stereotypes: A Large-Scale Textual Analysis of Race and Gender Associations with Diseases in Online Sources

要約

背景 大規模言語モデル (LLM) の進歩は医療分野に変革の可能性を秘めていますが、最近の研究では、これらのモデルが人種や性別の偏見を示す出力を生成する傾向があるという懸念が生じています。
トレーニング データはそのようなバイアスの原因である可能性がありますが、テキスト データにおける疾患と人口統計の関連性を大規模に調査することは限られています。
方法 Arxiv、Wikipedia、Common Crawl などの多様な Web ソースで構成されるデータセットを使用して、大規模なテキスト分析を実施しました。
この研究では、さまざまな病気が人種や性別のマーカーと並んで議論される文脈を分析しました。
LLM が同様のデータセットで事前トレーニングされていることを考えると、このアプローチにより、LLM が学習して内部化する可能性のある潜在的なバイアスを調べることができました。
偏りの表現の程度を評価するために、これらの結果を実際の人口統計学的疾患有病率および GPT-4 出力と比較しました。
結果 私たちの調査結果は、人口統計上の用語がオンラインのテキスト内で特定の疾患の概念と不釣り合いに関連付けられていることを示しています。
性別の用語は病気の概念と顕著に関連付けられていますが、人種の用語が関連付けられることはそれほど多くありません。
分析された 18 の病気と特定の人種および性別の用語の関連性には広範囲にわたる差異があることがわかりました。
最も顕著なのは、人口比率と比較して、黒人人種への言及が全体的に大幅に過剰であることがわかります。
結論 私たちの結果は、LLM 事前トレーニング データセットにおけるバイアスの批判的な検査と透明性のある報告の必要性を強調しています。
私たちの研究は、LLM、特にヘルスケアなどの機密性の高い領域における偏ったトレーニング データの影響に対抗する緩和戦略を開発する必要性を示唆しています。

要約(オリジナル)

Background Advancements in Large Language Models (LLMs) hold transformative potential in healthcare, however, recent work has raised concern about the tendency of these models to produce outputs that display racial or gender biases. Although training data is a likely source of such biases, exploration of disease and demographic associations in text data at scale has been limited. Methods We conducted a large-scale textual analysis using a dataset comprising diverse web sources, including Arxiv, Wikipedia, and Common Crawl. The study analyzed the context in which various diseases are discussed alongside markers of race and gender. Given that LLMs are pre-trained on similar datasets, this approach allowed us to examine the potential biases that LLMs may learn and internalize. We compared these findings with actual demographic disease prevalence as well as GPT-4 outputs in order to evaluate the extent of bias representation. Results Our findings indicate that demographic terms are disproportionately associated with specific disease concepts in online texts. gender terms are prominently associated with disease concepts, while racial terms are much less frequently associated. We find widespread disparities in the associations of specific racial and gender terms with the 18 diseases analyzed. Most prominently, we see an overall significant overrepresentation of Black race mentions in comparison to population proportions. Conclusions Our results highlight the need for critical examination and transparent reporting of biases in LLM pretraining datasets. Our study suggests the need to develop mitigation strategies to counteract the influence of biased training data in LLMs, particularly in sensitive domains such as healthcare.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google