Sports and Women’s Sports: Gender Bias in Text Generation with Olympic Data

要約

大規模な言語モデル（LLM）は、世界のステレオタイプの見解に沿ったテキストを生成したり、歴史的に疎外された人口統計グループの視点と価値を表していないテキストを生成するため、以前の研究で偏っていることが示されています。
この作業では、オリンピックでの並行男性と女性のイベントからのデータを使用して、言語モデルのさまざまな形態の性別バイアスを調査することを提案します。
バイアスを測定するために3つのメトリックを定義し、性別がプロンプトであいまいである場合、モデルが女性に対して一貫して偏っていることがわかります。
この場合、モデルは頻繁に男性のイベントの結果のみをそのように認めずに取得し、陸上競技の文脈でLLMSの広範な性別バイアスを明らかにします。

要約(オリジナル)

Large Language Models (LLMs) have been shown to be biased in prior work, as they generate text that is in line with stereotypical views of the world or that is not representative of the viewpoints and values of historically marginalized demographic groups. In this work, we propose using data from parallel men’s and women’s events at the Olympic Games to investigate different forms of gender bias in language models. We define three metrics to measure bias, and find that models are consistently biased against women when the gender is ambiguous in the prompt. In this case, the model frequently retrieves only the results of the men’s event with or without acknowledging them as such, revealing pervasive gender bias in LLMs in the context of athletics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google