Distilling Mathematical Reasoning Capabilities into Small Language Models

要約

この取り組みは、パフォーマンスを損なうことなく、高度なラージ言語モデル (LLM) の数学的推論機能を 10 億未満のパラメータのスモール言語モデル (SLM) に圧縮することで、高度なラージ言語モデル (LLM) を民主化するという課題に取り組んでいます。
思考方程式蒸留 (EoTD) を導入します。これは、推論プロセスを方程式ベースの表現にカプセル化して、SLM を微調整するための EoTD データセットを構築する新しい手法です。
さらに、SLM の推論パフォーマンスを強化するために、アンサンブル思考蒸留 (ETD) フレームワークを提案します。
これには、思考連鎖 (CoT)、思考プログラム (PoT)、思考方程式 (EoT) などの複数の思考プロセスを含む推論データセットを作成し、それを微調整に使用することが含まれます。
私たちの実験パフォーマンスは、EoTD が SLM の推論能力を大幅に向上させ、ETD によりこれらのモデルが最先端の推論パフォーマンスを達成できることを示しています。

要約(オリジナル)

This work addresses the challenge of democratizing advanced Large Language Models (LLMs) by compressing their mathematical reasoning capabilities into sub-billion parameter Small Language Models (SLMs) without compromising performance. We introduce Equation-of-Thought Distillation (EoTD), a novel technique that encapsulates the reasoning process into equation-based representations to construct an EoTD dataset for fine-tuning SLMs. Additionally, we propose the Ensemble Thoughts Distillation (ETD) framework to enhance the reasoning performance of SLMs. This involves creating a reasoning dataset with multiple thought processes, including Chain-of-Thought (CoT), Program-of-Thought (PoT), and Equation-of-Thought (EoT), and using it for fine-tuning. Our experimental performance demonstrates that EoTD significantly boosts the reasoning abilities of SLMs, while ETD enables these models to achieve state-of-the-art reasoning performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google