Navigating the Rabbit Hole: Emergent Biases in LLM-Generated Attack Narratives Targeting Mental Health Groups

要約

大規模な言語モデル（LLM）は、特定のグループに対する不均衡なバイアスを示すことが示されています。
ただし、リスクのある集団に対するLLMによる挑発されていない標的攻撃の研究は、露出度が低いままです。
私たちの論文は、3つの新しい貢献を示しています。（1）高度に脆弱なメンタルヘルスグループに対するLLM生成攻撃の明示的な評価。
（2）相対バイアスの伝播を研究するためのネットワークベースのフレームワーク。
（3）これらの攻撃から生じるスティグマ化の相対的な程度の評価。
最近リリースされた大規模なバイアス監査データセットの分析により、メンタルヘルスエンティティは、攻撃の物語ネットワーク内の中心的な位置を占めることが明らかになりました。
スティグマ化理論の社会学的基盤から導き出して、私たちのスティグマ化分析は、生成チェーンの初期ターゲットと比較して、メンタルヘルス障害関連のターゲットの標識成分の増加を示しています。
まとめると、これらの洞察は、有害な言説を高め、緩和に適したアプローチの必要性を強調するために、大きな言語モデルの構造的偏見に光を当てています。

要約(オリジナル)

Large Language Models (LLMs) have been shown to demonstrate imbalanced biases against certain groups. However, the study of unprovoked targeted attacks by LLMs towards at-risk populations remains underexplored. Our paper presents three novel contributions: (1) the explicit evaluation of LLM-generated attacks on highly vulnerable mental health groups; (2) a network-based framework to study the propagation of relative biases; and (3) an assessment of the relative degree of stigmatization that emerges from these attacks. Our analysis of a recently released large-scale bias audit dataset reveals that mental health entities occupy central positions within attack narrative networks, as revealed by a significantly higher mean centrality of closeness (p-value = 4.06e-10) and dense clustering (Gini coefficient = 0.7). Drawing from sociological foundations of stigmatization theory, our stigmatization analysis indicates increased labeling components for mental health disorder-related targets relative to initial targets in generation chains. Taken together, these insights shed light on the structural predilections of large language models to heighten harmful discourse and highlight the need for suitable approaches for mitigation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google