SuperCorrect: Supervising and Correcting Language Models with Error-Driven Insights

要約

GPT-4、PaLM、LLaMA などの大規模言語モデル (LLM) は、さまざまな推論タスクにおいて大幅な改善を示しています。
ただし、Llama-3-8B や DeepSeekMath-Base などの小規模なモデルは、推論エラーを効果的に特定して修正できないため、依然として複雑な数学的推論に苦労しています。
最近のリフレクションベースの手法は、自己反省と自己修正を可能にすることでこれらの問題に対処することを目的としていますが、推論ステップでのエラーを独立して検出するという課題に依然として直面しています。
これらの制限を克服するために、我々は、大規模な教師モデルを使用して、小規模な生徒モデルの推論プロセスと反省プロセスの両方を監視および修正する新しい 2 段階のフレームワークである SuperCorrect を提案します。
最初の段階では、教師モデルから階層的な高レベルで詳細な思考テンプレートを抽出し、よりきめの細かい推論思考を引き出す際に生徒モデルをガイドします。
第 2 段階では、トレーニング中に教師の修正トレースを追跡することにより、学生モデルの自己修正能力を強化するために、モデル間の協調的直接選好最適化 (DPO) を導入します。
このクロスモデル DPO アプローチは、教師モデルからのエラー駆動型の洞察を使用して、生徒モデルに誤った考えを効果的に見つけて解決することを教え、思考のボトルネックを解消し、困難な問題に取り組むための新しいスキルと知識を獲得します。
広範な実験により、以前の方法に対する当社の優位性が一貫して実証されています。
特に、当社の SuperCorrect-7B モデルは、MATH/GSM8K ベンチマークで強力な DeepSeekMath-7B を 7.8%/5.3%、Qwen2.5-Math-7B を 15.1%/6.3% 上回り、すべての 7B モデルの中で新しい SOTA パフォーマンスを達成しています。
コード: https://github.com/YangLing0818/SuperCorrect-llm

要約(オリジナル)

Large language models (LLMs) like GPT-4, PaLM, and LLaMA have shown significant improvements in various reasoning tasks. However, smaller models such as Llama-3-8B and DeepSeekMath-Base still struggle with complex mathematical reasoning because they fail to effectively identify and correct reasoning errors. Recent reflection-based methods aim to address these issues by enabling self-reflection and self-correction, but they still face challenges in independently detecting errors in their reasoning steps. To overcome these limitations, we propose SuperCorrect, a novel two-stage framework that uses a large teacher model to supervise and correct both the reasoning and reflection processes of a smaller student model. In the first stage, we extract hierarchical high-level and detailed thought templates from the teacher model to guide the student model in eliciting more fine-grained reasoning thoughts. In the second stage, we introduce cross-model collaborative direct preference optimization (DPO) to enhance the self-correction abilities of the student model by following the teacher’s correction traces during training. This cross-model DPO approach teaches the student model to effectively locate and resolve erroneous thoughts with error-driven insights from the teacher model, breaking the bottleneck of its thoughts and acquiring new skills and knowledge to tackle challenging problems. Extensive experiments consistently demonstrate our superiority over previous methods. Notably, our SuperCorrect-7B model significantly surpasses powerful DeepSeekMath-7B by 7.8%/5.3% and Qwen2.5-Math-7B by 15.1%/6.3% on MATH/GSM8K benchmarks, achieving new SOTA performance among all 7B models. Code: https://github.com/YangLing0818/SuperCorrect-llm

arxiv情報

提供元, 利用サービス

arxiv.jp, Google