Selected Languages are All You Need for Cross-lingual Truthfulness Transfer

要約

大規模言語モデル（Large Language Models: LLMs）にとって、真理性は不可欠な課題である。多くの研究が真実性向上のための様々な方法を開発しているが、多言語シナリオにおける真実性に焦点を当てることはほとんどない。一方、現代の多言語整列技術は、多数の言語のバランスを取るのに苦労しており、異なる言語間、特に英語と大きく異なる言語間で、しばしば深刻な真実性のギャップを示す。我々の研究では、真実性評価を多言語コンテキストに拡張し、FaMSS（Fact-aware Multilingual Selective Synergy）と呼ばれるクロスリンガル真実性伝達のための実用的な方法を提案する。FaMSSは、言語バイアスと伝達貢献度によってテストされた全ての言語の最適なサブセットを選択し、クロスリンガル真実性伝達のための翻訳指示チューニングを採用することができる。実験結果は、我々のアプローチが効果的に多言語表現の不一致を減らし、LLMのクロスリンガル真実性伝達を促進できることを示している。

要約(オリジナル)

Truthfulness stands out as an essential challenge for Large Language Models (LLMs). Although many works have developed various ways for truthfulness enhancement, they seldom focus on truthfulness in multilingual scenarios. Meanwhile, contemporary multilingual aligning technologies struggle to balance numerous languages and often exhibit serious truthfulness gaps across different languages, especially those that differ greatly from English. In our work, we extend truthfulness evaluation to multilingual contexts and propose a practical method for cross-lingual truthfulness transfer called Fact-aware Multilingual Selective Synergy (FaMSS). FaMSS is able to select an optimal subset of all tested languages by language bias and transfer contributions, and then employ translation instruction tuning for cross-lingual truthfulness transfer. Experimental results demonstrate that our approach can effectively reduce the multilingual representation disparity and boost cross-lingual truthfulness transfer of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL