Decomposed Prompting: Unveiling Multilingual Linguistic Structure Knowledge in English-Centric Large Language Models

要約

トレーニング データでは英語が優勢であるにもかかわらず、GPT-3 や LLaMA などの英語中心の大規模言語モデル (LLM) は、多言語タスクを実行する優れた能力を示しており、言語を越えた能力の深さと性質について疑問が生じています。
この論文では、シーケンスのラベル付けタスクにおけるこれらの LLM の言語構造の理解を調査するための、分解されたプロンプト アプローチを紹介します。
単一のテキストからテキストへのプロンプトとは異なり、私たちの方法は、入力文のトークンごとに、その言語ラベルを尋ねる個別のプロンプトを生成します。
英語中心の LLM と多言語 LLM の両方を利用して、38 言語のユニバーサル依存関係品詞タグ付けデータセットでメソッドを評価します。
私たちの調査結果は、分解されたプロンプトが、ゼロショットおよび数ショット設定の下での有効性と効率において反復プロンプトのベースラインを上回っていることを示しています。
さらに分析すると、評価方法とプロンプトでの指示の使用の影響が明らかになります。
私たちの多言語に関する調査では、英語中心の言語モデルが多言語モデルよりも平均して優れたパフォーマンスを発揮していることがわかりました。
私たちの研究は、英語中心の LLM の多言語移転可能性についての洞察を提供し、彼らの多言語の言語知識の理解に貢献します。

要約(オリジナル)

Despite the predominance of English in their training data, English-centric Large Language Models (LLMs) like GPT-3 and LLaMA display a remarkable ability to perform multilingual tasks, raising questions about the depth and nature of their cross-lingual capabilities. This paper introduces the decomposed prompting approach to probe the linguistic structure understanding of these LLMs in sequence labeling tasks. Diverging from the single text-to-text prompt, our method generates for each token of the input sentence an individual prompt which asks for its linguistic label. We assess our method on the Universal Dependencies part-of-speech tagging dataset for 38 languages, utilizing both English-centric and multilingual LLMs. Our findings show that decomposed prompting surpasses the iterative prompting baseline in efficacy and efficiency under zero- and few-shot settings. Further analysis reveals the influence of evaluation methods and the use of instructions in prompts. Our multilingual investigation shows that English-centric language models perform better on average than multilingual models. Our study offers insights into the multilingual transferability of English-centric LLMs, contributing to the understanding of their multilingual linguistic knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google