Empowering Multi-step Reasoning across Languages via Tree-of-Thoughts

要約

有名な思考連鎖 (CoT) に最もよく代表される推論手法は、大規模言語モデル (LLM) が複雑なタスクを段階的に解決できるようにすることで、その推論能力を強化します。
彼らは大きな成功を収めていますが、事前トレーニング データの分布の不均衡が他の言語の障壁となっているため、複数ステップの推論を実行できる能力は依然として英語に限定されています。
この論文では、言語間でクロスリンガル CoT 推論を調整する方法であるクロスリンガル思考ツリー (Cross-ToT) を提案します。
提案された方法は、Tree-of-Thoughts アプローチにヒントを得た、自己一貫性のある言語を超えたプロンプト メカニズムを通じて、最終的な解決策につながる複数のステップの推論パスをさまざまな言語で提供します。
実験による評価では、私たちの方法は、インタラクションの数を減らし、最先端のパフォーマンスを達成することにより、既存のプロンプト方法よりも大幅に優れていることが示されています。

要約(オリジナル)

Reasoning methods, best exemplified by the well-known Chain-of-Thought (CoT), empower the reasoning abilities of Large Language Models (LLMs) by eliciting them to solve complex tasks in a step-by-step manner. Although they are achieving significant success, the ability to deliver multi-step reasoning remains limited to English because of the imbalance in the distribution of pre-training data, which makes other languages a barrier. In this paper, we propose Cross-lingual Tree-of-Thoughts (Cross-ToT), a method for aligning Cross-lingual CoT reasoning across languages. The proposed method, through a self-consistent cross-lingual prompting mechanism inspired by the Tree-of-Thoughts approach, provides multi-step reasoning paths in different languages that, during the steps, lead to the final solution. Experimental evaluations show that our method significantly outperforms existing prompting methods by reducing the number of interactions and achieving state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google