Not All Languages Are Created Equal in LLMs: Improving Multilingual Capability by Cross-Lingual-Thought Prompting

要約

大規模言語モデル（LLM）は印象的な多言語能力を示すが、その性能は異なる言語間で大きく異なる。本研究では、LLMの多言語能力を体系的に向上させるために、クロスリンガル思考プロンプト（XLT）と呼ばれるシンプルかつ効果的な方法を紹介する。具体的には、XLTは汎用的なテンプレートプロンプトであり、言語横断的な論理的推論能力を刺激し、言語横断的にタスクパフォーマンスを向上させる。我々は、高リソース言語と低リソース言語の両方をカバーする、推論、理解、生成タスクに関連する7つの典型的なベンチマークで包括的な評価を実施した。実験の結果、XLTは様々な多言語タスクの性能を著しく向上させるだけでなく、異なる言語における各タスクの平均性能と最高性能の間のギャップを著しく減少させることがわかった。特に、算術推論とオープンドメインの質問応答タスクにおいて、XLTは平均10ポイント以上の向上をもたらしている。

要約(オリジナル)

Large language models (LLMs) demonstrate impressive multilingual capability, but their performance varies substantially across different languages. In this work, we introduce a simple yet effective method, called cross-lingual-thought prompting (XLT), to systematically improve the multilingual capability of LLMs. Specifically, XLT is a generic template prompt that stimulates cross-lingual and logical reasoning skills to enhance task performance across languages. We conduct comprehensive evaluations on 7 typical benchmarks related to reasoning, understanding, and generation tasks, covering both high-resource and low-resource languages. Experimental results show that XLT not only remarkably enhances the performance of various multilingual tasks but also significantly reduces the gap between the average performance and the best performance of each task in different languages. Notably, XLT brings over 10 points of average improvement in arithmetic reasoning and open-domain question-answering tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL