Does Mapo Tofu Contain Coffee? Probing LLMs for Food-related Cultural Knowledge

要約

最近の研究では、大規模な言語モデル（LLMS）における文化的偏見の存在が強調されていますが、これらの現象を包括的に分析するための堅牢な方法論がしばしば欠けています。
私たちの仕事の目的は、普遍的に関連するが文化的に多様な人間の生活の側面である食物領域を掘り下げることにより、このギャップを埋めることを目指しています。
食品関連の文化的事実と食品慣行のバリエーションを中心とした多言語データセットであるFMLAMAを紹介します。
さまざまなアーキテクチャと構成にわたってLLMを分析し、単一言語と多言語の両方の設定でのパフォーマンスを評価します。
6つの異なる言語でテンプレートを活用することにより、LLMSが言語固有の文化的知識とどのように相互作用するかを調査します。
私たちの調査結果は、（1）LLMが米国で一般的な食物知識に対する顕著な偏見を示していることを明らかにしています。
（2）関連する文化的文脈を組み込むことで、文化的知識にアクセスするLLMの能力が大幅に向上します。
（3）文化的ニュアンスのキャプチャをキャプチャするLLMSの有効性は、プローブ言語、特定のモデルアーキテクチャ、および問題の文化的文脈との相互作用に大きく依存しています。
この研究は、文化的理解をLLMに統合することの複雑さを強調し、バイアスを軽減し、さまざまな文化的領域でモデルのパフォーマンスを強化するために、文化的に多様なデータセットの重要性を強調しています。

要約(オリジナル)

Recent studies have highlighted the presence of cultural biases in Large Language Models (LLMs), yet often lack a robust methodology to dissect these phenomena comprehensively. Our work aims to bridge this gap by delving into the Food domain, a universally relevant yet culturally diverse aspect of human life. We introduce FmLAMA, a multilingual dataset centered on food-related cultural facts and variations in food practices. We analyze LLMs across various architectures and configurations, evaluating their performance in both monolingual and multilingual settings. By leveraging templates in six different languages, we investigate how LLMs interact with language-specific and cultural knowledge. Our findings reveal that (1) LLMs demonstrate a pronounced bias towards food knowledge prevalent in the United States; (2) Incorporating relevant cultural context significantly improves LLMs’ ability to access cultural knowledge; (3) The efficacy of LLMs in capturing cultural nuances is highly dependent on the interplay between the probing language, the specific model architecture, and the cultural context in question. This research underscores the complexity of integrating cultural understanding into LLMs and emphasizes the importance of culturally diverse datasets to mitigate biases and enhance model performance across different cultural domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google