Through the Prism of Culture: Evaluating LLMs’ Understanding of Indian Subcultures and Traditions

要約

大規模な言語モデル（LLM）は、顕著な進歩を示していますが、文化的偏見についての懸念も提起し、多くの場合、過小評価されたサブカルチャーを犠牲にして支配的な物語を反映しています。
この研究では、LLMSの能力を評価して、カースト、親族、結婚、宗教などのローカライズされた文化的慣行とサブカルチャーを含むインド社会内の小さな伝統を認識し、正確に対応します。
一連のケーススタディを通じて、LLMが支配的な偉大な伝統とローカライズされた小さな伝統の相互作用のバランスをとることができるかどうかを評価します。
さまざまなプロンプト戦略を調査し、地域言語でプロンプトを使用することで、モデルの文化的感度と応答の質が向上するかどうかをさらに調査します。
私たちの調査結果は、LLMが文化的ニュアンスを明確にする能力を示している一方で、彼らはしばしばこの理解を実際の文脈固有のシナリオで適用するのに苦労していることを明らかにしています。
私たちの知る限り、これはインドのサブカルチャーとのLLMSエンゲージメントを分析する最初の研究であり、AIシステムに文化的多様性を埋め込むという課題に関する重要な洞察を提供します。

要約(オリジナル)

Large Language Models (LLMs) have shown remarkable advancements but also raise concerns about cultural bias, often reflecting dominant narratives at the expense of under-represented subcultures. In this study, we evaluate the capacity of LLMs to recognize and accurately respond to the Little Traditions within Indian society, encompassing localized cultural practices and subcultures such as caste, kinship, marriage, and religion. Through a series of case studies, we assess whether LLMs can balance the interplay between dominant Great Traditions and localized Little Traditions. We explore various prompting strategies and further investigate whether using prompts in regional languages enhances the models cultural sensitivity and response quality. Our findings reveal that while LLMs demonstrate an ability to articulate cultural nuances, they often struggle to apply this understanding in practical, context-specific scenarios. To the best of our knowledge, this is the first study to analyze LLMs engagement with Indian subcultures, offering critical insights into the challenges of embedding cultural diversity in AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google