IndoCulture: Exploring Geographically-Influenced Cultural Commonsense Reasoning Across Eleven Indonesian Provinces

要約

常識的な推論は文化的および地理的要因によって大きく形作られますが、これまでの研究は主に英語に基づいた文化に焦点を当てており、その結果、英国中心主義の偏見が生じる可能性があります。
この論文では、インドネシアの 11 州に見られる多様な文化に特に重点を置き、言語モデルの推論能力に対する地理的要因の影響を理解することを目的とした IndoCulture を紹介します。
テンプレート (ying et al., 2022) やオンラインスクラップ (Fung et al., 2024) に依存していたこれまでの研究とは対照的に、私たちは地域の人々に一連の文化的背景と妥当な選択肢を手動で開発するよう依頼することで IndoCulture を作成します。
事前定義されたトピックの。
27 の言語モデルを評価すると、いくつかの洞察が明らかになります。(1) オープンウェイト Llama-3 は GPT-4 と競合しますが、他のオープンウェイト モデルは精度が 50% 未満で苦戦しています。
(2) バリ島や西ジャワ州などの一部の州ではモデルのパフォーマンスが良く、他の州ではパフォーマンスが低いという一般的なパターンがあります。
(3) 位置コンテキストを含めることで、特に GPT-4 のような大規模なモデルのパフォーマンスが向上し、常識的な推論における地理的コンテキストの重要性が強調されます。

要約(オリジナル)

Although commonsense reasoning is greatly shaped by cultural and geographical factors, previous studies have predominantly centered on cultures grounded in the English language, potentially resulting in an Anglocentric bias. In this paper, we introduce IndoCulture, aimed at understanding the influence of geographical factors on language model reasoning ability, with a specific emphasis on the diverse cultures found within eleven Indonesian provinces. In contrast to prior work that has relied on templates (Yin et al., 2022) and online scrapping (Fung et al., 2024), we create IndoCulture by asking local people to manually develop a cultural context and plausible options, across a set of predefined topics. Evaluation of 27 language models reveals several insights: (1) the open-weight Llama-3 is competitive with GPT-4, while other open-weight models struggle, with accuracies below 50%; (2) there is a general pattern of models generally performing better for some provinces, such as Bali and West Java, and less well for others; and (3) the inclusion of location context enhances performance, especially for larger models like GPT-4, emphasizing the significance of geographical context in commonsense reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google