AdaCoT: Rethinking Cross-Lingual Factual Reasoning through Adaptive Chain-of-Thought

要約

大規模な言語モデル（LLM）は、多様なコーパスを事前に削除することにより、印象的な多言語機能を示しています。
これらのモデルは強力な推論能力を示していますが、そのパフォーマンスは、不均一なトレーニングデータの分布により、言語によって大きく異なります。
機械翻訳を使用した既存のアプローチ、および広範な多言語の事前トレーニングと横断的なチューニングに直面しているスケーラビリティの課題と言語間で微妙な推論プロセスをキャプチャできないことがよくあります。
このペーパーでは、ターゲット言語の応答を生成する前に、中間の「思考言語」を通じて思考プロセスを動的にルーティングすることにより多言語の推論を強化するフレームワークであるAdacot（Adaptive Of-of-of-of-fought）を紹介します。
Adacotは、言語に依存しないコアを活用し、追加の事前測定を必要とせずに最適な推論経路を選択するための適応的で報酬ベースのメカニズムを組み込んでいます。
複数のベンチマークにわたる当社の包括的な評価は、事実上の推論の質と横断的な一貫性の両方の大幅な改善を示しており、特に低リソースの言語設定ではパフォーマンスが強力になります。
結果は、適応的な推論パスが、文化的および言語的ニュアンスを維持しながら、高リソース言語と低リソース言語の間のパフォーマンスギャップを効果的に埋めることができることを示唆しています。

要約(オリジナル)

Large language models (LLMs) have shown impressive multilingual capabilities through pretraining on diverse corpora. While these models show strong reasoning abilities, their performance varies significantly across languages due to uneven training data distribution. Existing approaches using machine translation, and extensive multilingual pretraining and cross-lingual tuning face scalability challenges and often fail to capture nuanced reasoning processes across languages. In this paper, we introduce AdaCoT (Adaptive Chain-of-Thought), a framework that enhances multilingual reasoning by dynamically routing thought processes through intermediary ‘thinking languages’ before generating target-language responses. AdaCoT leverages a language-agnostic core and incorporates an adaptive, reward-based mechanism for selecting optimal reasoning pathways without requiring additional pretraining. Our comprehensive evaluation across multiple benchmarks demonstrates substantial improvements in both factual reasoning quality and cross-lingual consistency, with particularly strong performance gains in low-resource language settings. The results suggest that adaptive reasoning paths can effectively bridge the performance gap between high and low-resource languages while maintaining cultural and linguistic nuances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google