Learning from Committee: Reasoning Distillation from a Mixture of Teachers with Peer-Review

要約

推論能力は通常、数千億のパラメーターを備えた大規模な言語モデル（LLMS）に現れますが、最近の研究では、商用LMSからの知識蒸留（KD）を通じて小規模なオープンソースモデルの改善に焦点を当てています。
ただし、これらの研究の多くは、正解と間違いの背後にある理由の両方を理解することを含む、自然な人間の学習プロセスとは異なり、単一のLLMからの反応のみに金の根拠として依存しています。
この論文では、ピアレビュー（公正）アプローチを介して新しい断層を意識した蒸留を紹介します：1）教師から理論的根拠を取得する代わりに、私たちの方法は、教師に学生の間違いを特定して説明し、カスタマイズされた指導学習データを提供するよう求めます。
2）教師LLMS間でシミュレートされたピアレビュープロセスを設計します。これは、受け入れのしきい値を超える生成された理論的根拠のみを選択します。
これにより、教師が欠陥のある理論的根拠で正しく推測する可能性が低くなり、教育データの品質が向上します。
数学的、常識的、論理的な推論タスクに関する包括的な実験と分析は、私たちの方法の有効性を示しています。

要約(オリジナル)

While reasoning capabilities typically emerge in large language models (LLMs) with tens of billions of parameters, recent research focuses on improving smaller open-source models through knowledge distillation (KD) from commercial LLMs. However, many of these studies rely solely on responses from a single LLM as the gold rationale, unlike the natural human learning process, which involves understanding both the correct answers and the reasons behind mistakes. In this paper, we introduce a novel Fault-Aware DistIllation via Peer-Review (FAIR) approach: 1) Instead of merely obtaining rationales from teachers, our method asks teachers to identify and explain the student’s mistakes, providing customized instruction learning data. 2) We design a simulated peer-review process between teacher LLMs, which selects only the generated rationales above the acceptance threshold. This reduces the chance of teachers guessing correctly with flawed rationale, improving instructional data quality. Comprehensive experiments and analysis on mathematical, commonsense, and logical reasoning tasks demonstrate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google