Masculine Defaults via Gendered Discourse in Podcasts and Large Language Models

要約

男性的なデフォルトは、重要なタイプの性別バイアスとして広く認識されていますが、研究が不十分であるため、しばしば目に見えません。
男性的なデフォルトには、（i）文化的文脈、（ii）男性的な特性または行動、および（iii）それらの男性的特性または行動に対する報酬、または単に受け入れられる3つの重要な部分が含まれます。
この作業では、談話に基づく男性的なデフォルトを研究し、（i）ジェンダー談話相関フレームワーク（GDCF）を介して、話し言葉のコンテンツのジェンダーされた談話語の大規模な発見と分析の2つのフレームワークを提案します。
（ii）談話の単語埋め込み協会テスト（D-Weat）を介したLLMSのこれらの性別の談話語に関連する性別バイアスの測定。
私たちは、15,117のポッドキャストエピソードを分析し、ソーシャルメディアの人気のある成長しているポッドキャストであるポッドキャストに焦点を当てています。
ジェンダーと談話の単語の間の相関関係を分析し、LDAとBertopicを介して発見された – 性別の談話語リストを自動的に形成します。
次に、ドメイン固有のコンテキストでこれらの性別のある談話語の有病率を研究し、ビジネス、テクノロジー/政治、ビデオゲームのドメインには、性別のある談話に基づく男性的なデフォルトが存在することがわかります。
次に、Openaiからの最先端のLLM埋め込みモデルからのこれらの性別の談話語の表現を研究し、男性の談話の言葉よりも安定した堅牢な表現を持っていることがわかります。
したがって、男性は、最先端の言語モデルの1つによってシステムパフォーマンスが向上し、談話パターンに報われます。この埋め込み格差は、代表的な害と男性的なデフォルトです。

要約(オリジナル)

Masculine defaults are widely recognized as a significant type of gender bias, but they are often unseen as they are under-researched. Masculine defaults involve three key parts: (i) the cultural context, (ii) the masculine characteristics or behaviors, and (iii) the reward for, or simply acceptance of, those masculine characteristics or behaviors. In this work, we study discourse-based masculine defaults, and propose a twofold framework for (i) the large-scale discovery and analysis of gendered discourse words in spoken content via our Gendered Discourse Correlation Framework (GDCF); and (ii) the measurement of the gender bias associated with these gendered discourse words in LLMs via our Discourse Word-Embedding Association Test (D-WEAT). We focus our study on podcasts, a popular and growing form of social media, analyzing 15,117 podcast episodes. We analyze correlations between gender and discourse words — discovered via LDA and BERTopic — to automatically form gendered discourse word lists. We then study the prevalence of these gendered discourse words in domain-specific contexts, and find that gendered discourse-based masculine defaults exist in the domains of business, technology/politics, and video games. Next, we study the representation of these gendered discourse words from a state-of-the-art LLM embedding model from OpenAI, and find that the masculine discourse words have a more stable and robust representation than the feminine discourse words, which may result in better system performance on downstream tasks for men. Hence, men are rewarded for their discourse patterns with better system performance by one of the state-of-the-art language models — and this embedding disparity is a representational harm and a masculine default.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google