Do LLMs Need to Think in One Language? Correlation between Latent Language and Task Performance

要約

大規模な言語モデル（LLMS）は、入力言語や出力言語とは異なる場合がある潜在言語と呼ばれる、熟練した内部言語を一貫して使用して情報を処理することが知られています。
ただし、潜在言語と入力言語と出力言語の矛盾がダウンストリームタスクのパフォーマンスにどのように影響するかは、ほとんど説明されていません。
多くの研究がLLMSの潜在言語を研究していますが、タスクのパフォーマンスに影響を与えることにおけるその重要性に対処する人はほとんどいません。
私たちの研究では、潜在的な言語での考えることは一貫して下流のタスクのパフォーマンスを向上させると仮定します。
これを検証するために、私たちの作業は、複数のダウンストリームタスクにわたって入力プロンプト言語を変化させ、潜在言語の一貫性とタスクパフォ​​ーマンスの相関関係を分析します。
潜在的な言語の選択に影響される翻訳やジオカルチャーなどの多様なドメインからの質問で構成されるデータセットを作成します。
言語の選択に敏感な翻訳および地理文化タスクの複数のLLMにわたる実験結果は、最適な下流タスクパフォ​​ーマンスに潜在言語の一貫性を維持することが必ずしも必要ではないことを示しています。
これは、これらのモデルが最終レイヤーの近くに内部表現をターゲット言語に合わせて適応させ、全体的なパフォーマンスに対する一貫性の影響を減らすためです。

要約(オリジナル)

Large Language Models (LLMs) are known to process information using a proficient internal language consistently, referred to as latent language, which may differ from the input or output languages. However, how the discrepancy between the latent language and the input and output language affects downstream task performance remains largely unexplored. While many studies research the latent language of LLMs, few address its importance in influencing task performance. In our study, we hypothesize that thinking in latent language consistently enhances downstream task performance. To validate this, our work varies the input prompt languages across multiple downstream tasks and analyzes the correlation between consistency in latent language and task performance. We create datasets consisting of questions from diverse domains such as translation and geo-culture, which are influenced by the choice of latent language. Experimental results across multiple LLMs on translation and geo-culture tasks, which are sensitive to the choice of language, indicate that maintaining consistency in latent language is not always necessary for optimal downstream task performance. This is because these models adapt their internal representations near the final layers to match the target language, reducing the impact of consistency on overall performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google