Self-Alignment: Improving Alignment of Cultural Values in LLMs via In-Context Learning

要約

大規模言語モデル (LLM) がエンコードする文化的価値に関して、LLM の調整を改善することは、ますます重要なテーマになっています。
この研究では、文化的価値のプローブに対するモデルの応答を調整するために、推論時に文化的価値に関する既存の知識を活用できるかどうかを研究します。
私たちは、コンテキスト内学習 (ICL) と人体調査データを組み合わせた、シンプルで安価な方法を提示し、英語中心の LLM と多言語 LLM の両方を含む 5 つのモデル全体で文化的価値観との整合性を向上できることを示します。
重要なのは、私たちの方法が英語以外のテスト言語でも有用であることが証明でき、文化的に多様な国の範囲に対応する文化的価値観への整合性を向上させることができることを示していることです。

要約(オリジナル)

Improving the alignment of Large Language Models (LLMs) with respect to the cultural values that they encode has become an increasingly important topic. In this work, we study whether we can exploit existing knowledge about cultural values at inference time to adjust model responses to cultural value probes. We present a simple and inexpensive method that uses a combination of in-context learning (ICL) and human survey data, and show that we can improve the alignment to cultural values across 5 models that include both English-centric and multilingual LLMs. Importantly, we show that our method could prove useful in test languages other than English and can improve alignment to the cultural values that correspond to a range of culturally diverse countries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google