Unraveling Downstream Gender Bias from Large Language Models: A Study on AI Educational Writing Assistance

要約

大規模言語モデル (LLM) は、学生にライティングの提案を提供するなどの教育タスクでますます利用されています。
LLM はその可能性にもかかわらず、学習者に悪影響を与える可能性のある固有のバイアスを抱えていることが知られています。
これまでの研究では、モデルとデータ表現のバイアスを個別に調査しており、人間の書き込みに対する LLM バイアスの潜在的な影響は無視されていました。
この論文では、AI 執筆サポート パイプラインを通じてバイアスがどのように伝達されるかを調査します。
私たちは、231 人の学生がビジネスケースのピアレビューをドイツ語で書く大規模なユーザー調査を実施しています。
学生は、異なるレベルのライティングサポートを持つ 5 つのグループに分けられます。1 つの教室グループは特徴ベースの提案を提供し、4 つのグループは Prolific から採用されました。1 つは支援なしの対照グループ、2 つのグループは微調整された GPT-2 と GPT からの提案を提供します。
3 つのモデルと、事前トレーニングされた GPT-3.5 からの提案を含む 1 つのグループ。
GenBit のジェンダー バイアス分析、Word Embedding Association Tests (WEAT)、Sentence Embedding Association Test (SEAT) を使用して、モデルの埋め込み、モデルによって生成された提案、およびユーザーによって書かれたレビューなど、パイプラインのさまざまな段階でジェンダー バイアスを評価します。
学生。
私たちの結果は、LLM の提案があるグループとないグループのピアレビューの結果の間に、ジェンダーバイアスに有意な差がないことを示しています。
したがって、私たちの研究は教室での AI ライティングサポートの使用について楽観的であり、LLM のバイアスが生徒の反応に移らない状況を示しています。

要約(オリジナル)

Large Language Models (LLMs) are increasingly utilized in educational tasks such as providing writing suggestions to students. Despite their potential, LLMs are known to harbor inherent biases which may negatively impact learners. Previous studies have investigated bias in models and data representations separately, neglecting the potential impact of LLM bias on human writing. In this paper, we investigate how bias transfers through an AI writing support pipeline. We conduct a large-scale user study with 231 students writing business case peer reviews in German. Students are divided into five groups with different levels of writing support: one classroom group with feature-based suggestions and four groups recruited from Prolific — a control group with no assistance, two groups with suggestions from fine-tuned GPT-2 and GPT-3 models, and one group with suggestions from pre-trained GPT-3.5. Using GenBit gender bias analysis, Word Embedding Association Tests (WEAT), and Sentence Embedding Association Test (SEAT) we evaluate the gender bias at various stages of the pipeline: in model embeddings, in suggestions generated by the models, and in reviews written by students. Our results demonstrate that there is no significant difference in gender bias between the resulting peer reviews of groups with and without LLM suggestions. Our research is therefore optimistic about the use of AI writing support in the classroom, showcasing a context where bias in LLMs does not transfer to students’ responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google