Learning to Reason via Mixture-of-Thought for Logical Reasoning

要約

人間は自然に複数の推論モダリティを利用して、論理的な問題、つまり自然言語、コード、象徴的な論理などのさまざまな表現形式を学び、解決します。
対照的に、ほとんどの既存のLLMベースのアプローチは、トレーニング中に単一の推論モダリティ、通常は自然言語で動作します。
一部の方法では、推論時間にモダリティの選択または増強を調査しましたが、トレーニングプロセスはモダリティブラインドのままであり、モダリティ間の相乗効果を制限します。
このギャップを埋めるために、LLMが3つの補完的なモダリティにわたって推論できるようにするフレームワーク（自然言語、コード、および新たに導入された象徴的なモダリティである真理テーブル）であるThe Frameworkを提案します。
MOTは、2フェーズの設計を採用しています。（1）自己進化MOTトレーニング。これは、モダリティ全体でフィルター処理された自己生成の理論的根拠から共同で学習します。
（2）MOT推論。これは、3つのモダリティの相乗効果を完全に活用して、より良い予測を生成します。
FolioやProofwriterを含む論理的推論ベンチマークに関する実験は、MOTフレームワークが一貫して大幅に優れていることを示しています。
さらなる分析により、MOTフレームワークはトレーニングと推論の両方の段階に利益をもたらすことが示されています。
より困難な論理的推論の問題に特に効果的であること。
そして、その異なるモダリティは補完的な強みに貢献し、真理テーブルの推論は自然言語の推論における重要なボトルネックを克服するのに役立ちます。

要約(オリジナル)

Human beings naturally utilize multiple reasoning modalities to learn and solve logical problems, i.e., different representational formats such as natural language, code, and symbolic logic. In contrast, most existing LLM-based approaches operate with a single reasoning modality during training, typically natural language. Although some methods explored modality selection or augmentation at inference time, the training process remains modality-blind, limiting synergy among modalities. To fill in this gap, we propose Mixture-of-Thought (MoT), a framework that enables LLMs to reason across three complementary modalities: natural language, code, and a newly introduced symbolic modality, truth-table, which systematically enumerates logical cases and partially mitigates key failure modes in natural language reasoning. MoT adopts a two-phase design: (1) self-evolving MoT training, which jointly learns from filtered, self-generated rationales across modalities; and (2) MoT inference, which fully leverages the synergy of three modalities to produce better predictions. Experiments on logical reasoning benchmarks including FOLIO and ProofWriter demonstrate that our MoT framework consistently and significantly outperforms strong LLM baselines with single-modality chain-of-thought approaches, achieving up to +11.7pp average accuracy gain. Further analyses show that our MoT framework benefits both training and inference stages; that it is particularly effective on harder logical reasoning problems; and that different modalities contribute complementary strengths, with truth-table reasoning helping to overcome key bottlenecks in natural language inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google