Towards Measuring and Modeling ‘Culture’ in LLMs: A Survey

要約

大規模な言語モデルにおける文化的表現と包含を研究することを目的とした 39 件の最近の論文の調査を紹介します。
どの研究も複雑で多面的な概念である「文化」を定義していないことがわかります。
代わりに、「文化」の特定の側面を表す特別に設計されたいくつかのデータセットに基づいてモデルを調査します。
私たちはこれらの側面を文化の代理と呼び、人口動態、意味、言語と文化の相互作用の代理という 3 つの側面にわたってそれらを組織します。
また、使用されるプローブ方法も分類します。
私たちの分析は、価値観や目的などの「文化」の特定の側面のみが研究されており、他のいくつかの興味深く重要な側面、特に多数の意味論的領域 (Thompson et al., 2020) やアバウトネス (Hershcovich et al.) を残していることを示しています。
., 2022）、未踏。
他の 2 つの重大なギャップは、現在の手法の堅牢性と状況依存性の欠如です。
これらの観察に基づいて、LLM および LLM ベースのアプリケーションにおける文化的包摂を促進するための、総合的で実際に役立つ研究課題についていくつかの推奨事項を提供します。

要約(オリジナル)

We present a survey of 39 recent papers that aim to study cultural representation and inclusion in large language models. We observe that none of the studies define ‘culture,’ which is a complex, multifaceted concept; instead, they probe the models on some specially designed datasets which represent certain aspects of ‘culture.’ We call these aspects the proxies of cultures, and organize them across three dimensions of demographic, semantic and linguistic-cultural interaction proxies. We also categorize the probing methods employed. Our analysis indicates that only certain aspects of ‘culture,’ such as values and objectives, have been studied, leaving several other interesting and important facets, especially the multitude of semantic domains (Thompson et al., 2020) and aboutness (Hershcovich et al., 2022), unexplored. Two other crucial gaps are the lack of robustness and situatedness of the current methods. Based on these observations, we provide several recommendations for a holistic and practically useful research agenda for furthering cultural inclusion in LLMs and LLM-based applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google