Uplifting Lower-Income Data: Strategies for Socioeconomic Perspective Shifts in Vision-Language Models

要約

AI における文化や社会経済的グループ間の不平等な表現は重大かつ困難な問題であり、多くの場合、モデルのパフォーマンスの不均一につながります。
この問題に対処するためのステップとして、私たちは翻訳された非英語、地理的、社会経済的統合プロンプトを作成し、さまざまな国や所得グループのデータに対する VL モデルのパフォーマンスへの影響を評価します。
私たちの調査結果は、地理的および社会経済的統合プロンプトが低所得データに対する VL のパフォーマンスを向上させ、低所得世帯のデータによく見られるトピックの出現の検索を促進することを示しています。
私たちは分析から、これらの戦略が最大の改善をもたらす状況を特定し、強調表示します。
私たちのモデル分析コードは https://github.com/Anniejoan/Uplifting-Lower-income-data で公開されています。

要約(オリジナル)

Unequal representation across cultures and socioeconomic groups in AI is a significant and challenging problem, often leading to uneven model performance. As a step toward addressing this issue, we formulate translated non-English, geographic, and socioeconomic integrated prompts and evaluate their impact on VL model performance for data from different countries and income groups. Our findings show that geographic and socioeconomic integrated prompts improve VL performance on lower-income data and favor the retrieval of topic appearances commonly found in data from low-income households. From our analyses, we identify and highlight contexts where these strategies yield the most improvements. Our model analysis code is publicly available at https://github.com/Anniejoan/Uplifting-Lower-income-data .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google