Evaluation of Large Language Models: STEM education and Gender Stereotypes

要約

大規模言語モデル (LLM) は、チャットボット、学習サポート、コーディング サポート、アイデア出し、執筆支援などのユースケースにより、私たちの生活にますます大きな影響を与えています。
これまでの研究では、職業を説明するために使用される代名詞や、男性と女性を説明するために使用される形容詞に言語的バイアスがあることが明らかになりました。
少なくとも既存のテストに合格するには、更新された LLM バージョンでこれらの問題にある程度対処する必要があります。
ただし、モデルには依然として偏見が存在する可能性があり、性別に基づくステレオタイプ的な言語の繰り返し使用は、根底にある仮定を強化する可能性があるため、さらに調査することが重要です。
この論文では、オープンエンドでユーザーケースに忠実な実験計画と定量分析を通じて、教育の選択に関連するLLMのジェンダーバイアスを調査します。
私たちは、重要な教育水準に対応する 10 歳から 16 歳までの年齢を対象に、4 つの異なる文化、言語、教育制度 (英語/米国/英国、デンマーク語/DK、カタロニア語/ES、およびヒンディー語/インド) の文脈でバイアスを調査します。
さまざまな国の移行点。
典型的な女の子と男の子の名前を使用して、将来の将来の候補のリストを表示する場合、chatGPT が提供する STEM と非 STEM の教育パスの提案には、STEM と非 STEM の比率に有意な大きな差があることがわかりました。
一般に、デンマーク語、スペイン語、インドでは、英語に比べて STEM に関する提案が少なくなります。
また、提案された職業にも微妙な違いがあることがわかり、それを分類して報告します。

要約(オリジナル)

Large Language Models (LLMs) have an increasing impact on our lives with use cases such as chatbots, study support, coding support, ideation, writing assistance, and more. Previous studies have revealed linguistic biases in pronouns used to describe professions or adjectives used to describe men vs women. These issues have to some degree been addressed in updated LLM versions, at least to pass existing tests. However, biases may still be present in the models, and repeated use of gender stereotypical language may reinforce the underlying assumptions and are therefore important to examine further. This paper investigates gender biases in LLMs in relation to educational choices through an open-ended, true to user-case experimental design and a quantitative analysis. We investigate the biases in the context of four different cultures, languages, and educational systems (English/US/UK, Danish/DK, Catalan/ES, and Hindi/IN) for ages ranging from 10 to 16 years, corresponding to important educational transition points in the different countries. We find that there are significant and large differences in the ratio of STEM to non-STEM suggested education paths provided by chatGPT when using typical girl vs boy names to prompt lists of suggested things to become. There are generally fewer STEM suggestions in the Danish, Spanish, and Indian context compared to the English. We also find subtle differences in the suggested professions, which we categorise and report.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google