Probing Pre-Trained Language Models for Cross-Cultural Differences in Values

要約

タイトル：事前学習言語モデルを用いた多文化間の価値の違いを調査する

要約：
– 言語は、人々が保持している社会的、文化的、政治的な価値に関する情報を埋め込む。
– これまでに、事前学習言語モデル（PTLM）にエンコードされた社会的および潜在的に有害な偏見について研究が行われてきた。
– しかし、これらのモデルに埋め込まれた価値が異なる文化間でどのように変化するかに関して、系統的な研究はまだ行われていない。
– 本論文では、これらのモデルに埋め込まれた文化間のどのような価値が埋め込まれており、既存の理論や文化間価値調査と一致するかを調査するプローブを導入する。
– そして、PTLMは文化間の価値の違いを捉えるが、それらは既存の価値調査と弱い方向性を持っていることがわかった。
– 調査が異なる文化間でモデルを使用する際の影響や、PTLMと文化間価値調査の調和方法について議論する。

要約(オリジナル)

Language embeds information about social, cultural, and political values people hold. Prior work has explored social and potentially harmful biases encoded in Pre-Trained Language models (PTLMs). However, there has been no systematic study investigating how values embedded in these models vary across cultures. In this paper, we introduce probes to study which values across cultures are embedded in these models, and whether they align with existing theories and cross-cultural value surveys. We find that PTLMs capture differences in values across cultures, but those only weakly align with established value surveys. We discuss implications of using mis-aligned models in cross-cultural settings, as well as ways of aligning PTLMs with value surveys.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI