VisBias: Measuring Explicit and Implicit Social Biases in Vision Language Models

要約

この研究では、ビジョン言語モデル（VLM）によって示される明示的および暗黙的な社会的バイアスの両方を調査しています。
これらのバイアスタイプの重要な区別は、認識のレベルにあります。明示的なバイアスは、意識的で意図的なバイアスを指し、暗黙のバイアスは無意識のうちに動作します。
明示的なバイアスを分析するために、性別と人種の違いに関連するVLMに直接質問を投げかけます：（1）特定の画像に基づいた複数選択の質問（例えば、「画像内の人の教育レベルは何ですか？」（2）はい、2つの画像を使用しています。
応答によるバイアス：（1）画像説明タスク：モデルは画像内の個人を説明するように求められ、人口統計グループ全体のテキストキューの格差を分析します。
（2）フォーム完了タスク：モデルは20の属性を持つ個人情報収集フォームをドラフトし、潜在的なバイアスの選択された属性間の相関を調べます。
Gemini-1.5、GPT-4V、GPT-4O、llama-3.2-visionおよびllava-v1.6を評価します。
私たちのコードとデータは、https://github.com/uscnlp-lime/visbiasで公開されています。

要約(オリジナル)

This research investigates both explicit and implicit social biases exhibited by Vision-Language Models (VLMs). The key distinction between these bias types lies in the level of awareness: explicit bias refers to conscious, intentional biases, while implicit bias operates subconsciously. To analyze explicit bias, we directly pose questions to VLMs related to gender and racial differences: (1) Multiple-choice questions based on a given image (e.g., ‘What is the education level of the person in the image?’) (2) Yes-No comparisons using two images (e.g., ‘Is the person in the first image more educated than the person in the second image?’) For implicit bias, we design tasks where VLMs assist users but reveal biases through their responses: (1) Image description tasks: Models are asked to describe individuals in images, and we analyze disparities in textual cues across demographic groups. (2) Form completion tasks: Models draft a personal information collection form with 20 attributes, and we examine correlations among selected attributes for potential biases. We evaluate Gemini-1.5, GPT-4V, GPT-4o, LLaMA-3.2-Vision and LLaVA-v1.6. Our code and data are publicly available at https://github.com/uscnlp-lime/VisBias.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google