Localized Cultural Knowledge is Conserved and Controllable in Large Language Models

要約

人間が新しい言語を話すときに母国語の影響を受ける言語パターンを表示するように、LLMは他の言語で生成した場合でも英語中心の応答をデフォルトでデフォルトにすることがよくあります。
それにもかかわらず、私たちは、地元の文化情報がモデル内で持続し、文化的なカスタマイズのために容易に活性化できることを観察します。
最初に、プロンプトで文化的コンテキストを明示的に提供することで、文化的にローカライズされた反応を生成するモデルの能力が大幅に向上することを実証します。
明示的な文化的文脈なしでは、明示的なインマプリティのローカリゼーションギャップとのモデルパフォーマンスの格差を、文化的知識がLLMに存在するが、文化的文脈が明示的に提供されていない場合、多言語相互作用で自然に表面化しないことを示しています。
しかし、明示的な促進の利益にもかかわらず、答えは多様性を減らし、ステレオタイプに向かう傾向があります。
第二に、私たちが探求するすべての非英語言語で保存されている明示的な文化的カスタマイズベクターを特定します。これにより、LLMは各英語以外の文化の世界に向かって合成英語文化の世界モデルから操縦することができます。
操縦応答は、暗黙のプロンプトの多様性を保持し、ステレオタイプを減らしてカスタマイズの可能性を劇的に改善します。
LLMS内の代替文化世界モデルの保存を理解するための明示的な文化的カスタマイズの意味、および翻訳、文化的カスタマイズ、および拡張されたLLM機能と魅力のためのソフトコントロールを通じて明示的な暗黙を作る可能性について説明します。

要約(オリジナル)

Just as humans display language patterns influenced by their native tongue when speaking new languages, LLMs often default to English-centric responses even when generating in other languages. Nevertheless, we observe that local cultural information persists within the models and can be readily activated for cultural customization. We first demonstrate that explicitly providing cultural context in prompts significantly improves the models’ ability to generate culturally localized responses. We term the disparity in model performance with versus without explicit cultural context the explicit-implicit localization gap, indicating that while cultural knowledge exists within LLMs, it may not naturally surface in multilingual interactions if cultural context is not explicitly provided. Despite the explicit prompting benefit, however, the answers reduce in diversity and tend toward stereotypes. Second, we identify an explicit cultural customization vector, conserved across all non-English languages we explore, which enables LLMs to be steered from the synthetic English cultural world-model toward each non-English cultural world. Steered responses retain the diversity of implicit prompting and reduce stereotypes to dramatically improve the potential for customization. We discuss the implications of explicit cultural customization for understanding the conservation of alternative cultural world models within LLMs, and their controllable utility for translation, cultural customization, and the possibility of making the explicit implicit through soft control for expanded LLM function and appeal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google