Vision-Language Models Generate More Homogeneous Stories for Phenotypically Black Individuals

要約

Vision-Language Models（VLMS）は、画像処理を統合することにより、大規模な言語モデルの機能を拡張しますが、人間のバイアスを再現して増幅する可能性について懸念が生じています。
研究は、これらのモデルが人口統計グループ全体でステレオタイプを永続させる方法を文書化していますが、ほとんどの作業はグループ内の違いではなく、グループ間バイアスに焦点を合わせています。
この研究では、均質性のバイアスを調査します。これは、グループを黒人アメリカ人よりも均一であると描写する傾向があり、人種的表現型の認識がVLMSの出力にどのように影響するかを調べます。
表現型が体系的に異なるコンピューター生成画像を使用して、VLMにこれらの個人に関するストーリーを生成するように促し、コンテンツの均一性を評価するためにテキストの類似性を測定しました。
私たちの調査結果は、3つの重要なパターンを明らかにしています。まず、VLMは、表現型が低い人と比較して、表現型が高い黒人の人については大幅に均質な物語を生成します。
第二に、黒人女性に関する物語は、テストされたすべてのモデルの黒人男性に関するものよりも一貫して均一性を示しています。
第三に、3つのVLMのうち2つで、この均一性バイアスは主に、表現型が黒人女性の内容の変動に強く影響するが、黒人男性には最小限の影響を与える顕著な相互作用によって駆動されます。
これらの結果は、交差性がAIに生成された表現をどのように形成し、人間の認識にバイアスを記録したステレオタイプ化の持続性を強調し、人種表現型の増加がステレオタイプ化の大きさと個別の表現の大きさにつながることを強調しています。

要約(オリジナル)

Vision-Language Models (VLMs) extend Large Language Models’ capabilities by integrating image processing, but concerns persist about their potential to reproduce and amplify human biases. While research has documented how these models perpetuate stereotypes across demographic groups, most work has focused on between-group biases rather than within-group differences. This study investigates homogeneity bias-the tendency to portray groups as more uniform than they are-within Black Americans, examining how perceived racial phenotypicality influences VLMs’ outputs. Using computer-generated images that systematically vary in phenotypicality, we prompted VLMs to generate stories about these individuals and measured text similarity to assess content homogeneity. Our findings reveal three key patterns: First, VLMs generate significantly more homogeneous stories about Black individuals with higher phenotypicality compared to those with lower phenotypicality. Second, stories about Black women consistently display greater homogeneity than those about Black men across all models tested. Third, in two of three VLMs, this homogeneity bias is primarily driven by a pronounced interaction where phenotypicality strongly influences content variation for Black women but has minimal impact for Black men. These results demonstrate how intersectionality shapes AI-generated representations and highlight the persistence of stereotyping that mirror documented biases in human perception, where increased racial phenotypicality leads to greater stereotyping and less individualized representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google