Can you map it to English? The Role of Cross-Lingual Alignment in Multilingual Performance of LLMs

要約

大規模な言語モデル（LLMS）は、主に英語のテキストで事前に訓練されています。
この作業では、異なる言語で記述されたテキストの表現の整合が、言語とインスタンスレベルの両方で、自然言語の理解タスクと翻訳タスクに関するLLMパフォーマンスとどのように相関するかを調査します。
この目的のために、識別タスクのインスタンスレベルでのアライメントを定量化するために、識別アラインメントインデックス（DALI）などの横断的アライメントメトリックを導入します。
3つの自然言語理解タスク（Belebele、Xstorycloze、Xcopa）、および機械翻訳の実験を通じて、言語間アライメントメトリックは言語レベルでのタスクの精度と強く相関しているが、サンプルレベルのアライメントは、正しい条件として正しい条件として誤った予測を暴露することと区別できないことが多いことがわかります。

要約(オリジナル)

Large language models (LLMs) pre-trained predominantly on English text exhibit surprising multilingual capabilities, yet the mechanisms driving cross-lingual generalization remain poorly understood. This work investigates how the alignment of representations for text written in different languages correlates with LLM performance on natural language understanding tasks and translation tasks, both at the language and the instance level. For this purpose, we introduce cross-lingual alignment metrics such as the Discriminative Alignment Index (DALI) to quantify the alignment at an instance level for discriminative tasks. Through experiments on three natural language understanding tasks (Belebele, XStoryCloze, XCOPA), and machine translation, we find that while cross-lingual alignment metrics strongly correlate with task accuracy at the language level, the sample-level alignment often fails to distinguish correct from incorrect predictions, exposing alignment as a necessary but insufficient condition for success.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google