Reverse Thinking Makes LLMs Stronger Reasoners

要約

逆思考は人間の推論において重要な役割を果たします。
人間は問題から解決策に向かって推論するだけでなく、その逆、つまり解決策から始めて問題に向かって推論することもできます。
これにより、前向き思考と後ろ向き思考の間の一貫性チェックが可能になるため、全体的な推論パフォーマンスが向上することがよくあります。
大規模言語モデル (LLM) が逆思考を実行できるようにするために、データ拡張と学習目標で構成されるフレームワークである逆拡張思考 (RevThink) を導入します。
RevThink では、(1) 元の質問、(2) 前向き推論、(3) 後ろ向き質問、および (4) 後ろ向き推論で構成される構造化された前向き/後ろ向き推論を教師モデルから収集することによってデータセットを強化します。
次に、マルチタスク学習方式で小規模な学生モデルをトレーニングする 3 つの目的を採用します: (a) 質問から前向き推論を生成する、(b) 質問から後ろ向き質問を生成する、(c) 逆向き推論を生成する
質問。
常識、数学、論理的推論をカバーする 12 個のデータセットにわたる実験では、学生モデルのゼロショット パフォーマンスと比較して平均 13.53% の向上、最も強力な知識蒸留ベースラインと比較して 6.84% の向上が示されました。
さらに、私たちの方法はサンプル効率を実証しています。トレーニング データからの正しい前向き推論の 10% のみを使用しており、10 倍以上の前向き推論でトレーニングされた標準的な微調整メソッドよりも優れています。
RevThink は、分布外に保持されたデータセットに対する強力な一般化も示します。

要約(オリジナル)

Reverse thinking plays a crucial role in human reasoning. Humans can reason not only from a problem to a solution but also in reverse, i.e., start from the solution and reason towards the problem. This often enhances overall reasoning performance as it enables consistency checks between their forward and backward thinking. To enable Large Language Models (LLMs) to perform reverse thinking, we introduce Reverse-Enhanced Thinking (RevThink), a framework composed of data augmentation and learning objectives. In RevThink, we augment the dataset by collecting structured forward-backward reasoning from a teacher model, consisting of: (1) the original question, (2) forward reasoning, (3) backward question, and (4) backward reasoning. We then employ three objectives to train a smaller student model in a multi-task learning fashion: (a) generate forward reasoning from a question, (b) generate a backward question from a question, and (c) generate backward reasoning from the backward question. Experiments across 12 datasets covering commonsense, math, and logical reasoning show an average 13.53% improvement over the student model’s zero-shot performance and a 6.84% improvement over the strongest knowledge distillation baselines. Moreover, our method demonstrates sample efficiency — using only 10% of the correct forward reasoning from the training data, it outperforms a standard fine-tuning method trained on 10x more forward reasoning. RevThink also exhibits strong generalization to out-of-distribution held-out datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google