The LLM Wears Prada: Analysing Gender Bias and Stereotypes through Online Shopping Data

要約

大規模な言語モデルの幅広いドメインとクロスドメインの採用により、印象的なパフォーマンスの根底にあるトレーニングデータの統計的相関を評価し、微妙で厄介なバイアスを隠すことが重要になります。
LLMSの性別バイアスは、通常、特定の性別に関連する作品、趣味、感情の観点から広く調査されています。
この研究では、新しい視点を紹介します。
LLMがオンラインショッピングの履歴のみに基づいて個人の性別を予測できるかどうか、およびこれらの予測が性別バイアスとステレオタイプの影響を受けるかどうかを調査します。
米国のユーザーからの歴史的なオンライン購入のデータセットを使用して、6つのLLMが性別を分類する能力を評価し、その推論と製品性別の共起を分析します。
結果は、モデルが中程度の精度で性別を推測できることを示していますが、その決定はしばしば製品カテゴリと性別の間のステレオタイプの関連に根ざしていることを示しています。
さらに、バイアスを回避するための明示的な指示は、モデルの予測の確実性を減らしますが、ステレオタイプのパターンを排除しません。
私たちの調査結果は、LLMSの性別バイアスの持続的な性質を強調し、堅牢なバイアス緩和戦略の必要性を強調しています。

要約(オリジナル)

With the wide and cross-domain adoption of Large Language Models, it becomes crucial to assess to which extent the statistical correlations in training data, which underlie their impressive performance, hide subtle and potentially troubling biases. Gender bias in LLMs has been widely investigated from the perspectives of works, hobbies, and emotions typically associated with a specific gender. In this study, we introduce a novel perspective. We investigate whether LLMs can predict an individual’s gender based solely on online shopping histories and whether these predictions are influenced by gender biases and stereotypes. Using a dataset of historical online purchases from users in the United States, we evaluate the ability of six LLMs to classify gender and we then analyze their reasoning and products-gender co-occurrences. Results indicate that while models can infer gender with moderate accuracy, their decisions are often rooted in stereotypical associations between product categories and gender. Furthermore, explicit instructions to avoid bias reduce the certainty of model predictions, but do not eliminate stereotypical patterns. Our findings highlight the persistent nature of gender biases in LLMs and emphasize the need for robust bias-mitigation strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google