Enhance Reasoning by Learning from Mistakes: Peer-Review Knowledge Distillation from Multiple Large Language Models

要約

大規模言語モデル（LLM）は、質問の根拠を生成することで複雑な推論能力を示し、自然言語処理（NLP）タスクにおいて卓越した性能を発揮してきた。しかし、このような推論能力は、一般的に数百億のパラメータを持つモデルで現れ、実世界での展開には大きな計算上の課題が生じる。最近の研究では、商用LLMからの知識抽出（KD）を通じて、オープンソースの小規模モデルを改善することに集中している。とはいえ、これらの研究のほとんどは、1つのLLMからの応答のみをトレーニングの根拠としている。本論文では、新しいMistake-Aware Peer-Review Distillation (MAPD)アプローチを紹介する：1)単に教師から金の根拠を得る代わりに、我々の方法は教師に生徒の間違いを特定し説明するよう求め、カスタマイズされた指導学習データを提供する。2) 教師LLMの間で模擬的なピアレビュープロセスを設計し、受け入れ閾値以上の生成された根拠のみを選択する。これにより、教師が欠陥のある根拠を正しく推測する機会を減らし、指導データの質を向上させる。数学的、常識的、論理的推論課題に関する包括的な実験と分析により、本方法の有効性を実証する。

要約(オリジナル)

Large language models (LLMs) have exhibited complex reasoning abilities by generating question rationales and demonstrated exceptional performance in natural language processing (NLP) tasks. However, these reasoning capabilities generally emerge in models with tens of billions of parameters, creating significant computational challenges for real-world deployment. Recent research has concentrated on improving open-source smaller models through knowledge distillation (KD) from commercial LLMs. Nevertheless, most of these studies rely solely on the responses from one single LLM as the gold rationale for training. In this paper, we introduce a novel Mistake-Aware Peer-Review Distillation (MAPD) approach: 1) Instead of merely obtaining gold rationales from teachers, our method asks teachers to identify and explain the student’s mistakes, providing customized instruction learning data. 2) We design a simulated peer-review process between teacher LLMs, which selects only the generated rationales above the acceptance threshold. This reduces the chance of teachers guessing correctly with flawed rationale, improving instructional data quality. Comprehensive experiments and analysis on mathematical, commonsense, and logical reasoning tasks demonstrate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL