Analyzing LLMs’ Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations

要約

LLMSの知識の境界を理解することは幻覚を防ぐために重要ですが、LLMSの知識境界に関する研究は主に英語に焦点を当てています。
この作業では、LLMが複数の言語で既知の質問と不明な質問を処理するときに内部表現を調査することにより、LLMが異なる言語にわたって知識の境界をどのように認識するかを分析する最初の研究を提示します。
私たちの経験的研究は、3つの重要な調査結果を明らかにしています。1）LLMSの知識の境界に関する認識は、異なる言語の中央から中流層でエンコードされています。
2）知識の境界知覚の言語の違いは、線形構造に従います。これは、言語間で知識の境界知覚能力を効果的に転送するトレーニングフリーアライメント方法の提案を動機付け、それによって低リソース言語の幻覚リスクを減らすのに役立ちます。
3）バイリンガルの質問ペア翻訳の微調整は、言語間の知識境界のLLMの認識をさらに強化します。
言語間知識境界分析のための標準テストベッドがないことを考えると、3つの代表的なタイプの知識境界データで構成される多言語評価スイートを構築します。
コードとデータセットは、https://github.com/damo-nlp-sg/llm-multingual-knowledge-boundariesで公開されています。

要約(オリジナル)

While understanding the knowledge boundaries of LLMs is crucial to prevent hallucination, research on knowledge boundaries of LLMs has predominantly focused on English. In this work, we present the first study to analyze how LLMs recognize knowledge boundaries across different languages by probing their internal representations when processing known and unknown questions in multiple languages. Our empirical studies reveal three key findings: 1) LLMs’ perceptions of knowledge boundaries are encoded in the middle to middle-upper layers across different languages. 2) Language differences in knowledge boundary perception follow a linear structure, which motivates our proposal of a training-free alignment method that effectively transfers knowledge boundary perception ability across languages, thereby helping reduce hallucination risk in low-resource languages; 3) Fine-tuning on bilingual question pair translation further enhances LLMs’ recognition of knowledge boundaries across languages. Given the absence of standard testbeds for cross-lingual knowledge boundary analysis, we construct a multilingual evaluation suite comprising three representative types of knowledge boundary data. Our code and datasets are publicly available at https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google