mCoT: Multilingual Instruction Tuning for Reasoning Consistency in Language Models

要約

思考連鎖 (CoT) を備えた大規模言語モデル (LLM) は、さまざまな下流タスクを改善するための推論を引き出すための強力な手法として最近登場しました。
ほとんどの研究は主に英語に焦点を当てており、多言語の文脈での調査はほとんどないため、この推論能力がさまざまな言語でどの程度信頼できるかという問題はまだ解決されていません。
この問題に直接対処するために、私たちは一般的なオープンソース LLM を使用して、複数の言語にわたる多言語推論の一貫性を研究します。
まず、11 の多様な言語をカバーする最初の大規模な多言語数学推論データセット mCoT-MAT​​H をコンパイルします。
次に、多言語 CoT 命令チューニングを導入して、言語間での推論能力を強化し、それによってモデルの一貫性を向上させます。
既存の LLM は、検討対象の言語間で大幅なばらつきがあり、特にリソースが少ない言語ではパフォーマンスが低いのに対し、7B パラメーター モデル mCoT は言語間で優れた一貫性を実現し、サイズがはるかに大きい場合でも、クローズ ソース モデルやオープンソース モデルと比べて優れたまたは同等のパフォーマンスを実現します。
。

要約(オリジナル)

Large language models (LLMs) with Chain-of-thought (CoT) have recently emerged as a powerful technique for eliciting reasoning to improve various downstream tasks. As most research mainly focuses on English, with few explorations in a multilingual context, the question of how reliable this reasoning capability is in different languages is still open. To address it directly, we study multilingual reasoning consistency across multiple languages, using popular open-source LLMs. First, we compile the first large-scale multilingual math reasoning dataset, mCoT-MATH, covering eleven diverse languages. Then, we introduce multilingual CoT instruction tuning to boost reasoning capability across languages, thereby improving model consistency. While existing LLMs show substantial variation across the languages we consider, and especially low performance for lesser resourced languages, our 7B parameter model mCoT achieves impressive consistency across languages, and superior or comparable performance to close- and open-source models even of much larger sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google