Uplifting Lower-Income Data: Strategies for Socioeconomic Perspective Shifts in Large Multi-modal Models

要約

最近の研究では、トレーニング データにおける文化と社会経済的グループの不平等な表現が、偏った大規模マルチモーダル (LMM) モデルにつながることが実証されました。
過小評価されたデータに対する LMM モデルのパフォーマンスを向上させるために、英語以外、地理的、社会経済的属性を使用したいくつかのプロンプト戦略を提案し、評価します。
これらの地理的および社会経済的統合プロンプトは、さまざまな国の低所得世帯のデータに共通して見られるトピックの出現を取得するのに有利であり、低所得データに対する LMM モデルのパフォーマンスの向上につながることを示します。
私たちの分析では、これらの戦略が最も大きな改善をもたらす状況を特定し、強調表示します。

要約(オリジナル)

Recent work has demonstrated that the unequal representation of cultures and socioeconomic groups in training data leads to biased Large Multi-modal (LMM) models. To improve LMM model performance on underrepresented data, we propose and evaluate several prompting strategies using non-English, geographic, and socioeconomic attributes. We show that these geographic and socioeconomic integrated prompts favor retrieving topic appearances commonly found in data from low-income households across different countries leading to improved LMM model performance on lower-income data. Our analyses identify and highlight contexts where these strategies yield the most improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google