Improving Small Language Models’ Mathematical Reasoning via Equation-of-Thought Distillation

要約

この取り組みは、パフォーマンスを損なうことなく、高度なラージ言語モデル (LLM) の数学的推論機能を 10 億未満のパラメータのスモール言語モデル (SLM) に圧縮することで、高度なラージ言語モデル (LLM) を民主化するという課題に取り組んでいます。
思考方程式蒸留 (EoTD) を導入します。これは、推論プロセスを方程式ベースの表現にカプセル化して、SLM を微調整するための EoTD データセットを構築する新しい手法です。
さらに、SLM の推論パフォーマンスを強化するために、アンサンブル思考蒸留 (ETD) フレームワークを提案します。
これには、思考連鎖 (CoT)、思考プログラム (PoT)、思考方程式 (EoT) などの複数の思考プロセスを含む推論データセットを作成し、それを微調整に使用することが含まれます。
私たちの実験結果は、EoTD が SLM の推論能力を大幅に向上させ、ETD によってこれらのモデルが最先端の推論パフォーマンスを達成できることを示しています。

要約(オリジナル)

This work addresses the challenge of democratizing advanced Large Language Models (LLMs) by compressing their mathematical reasoning capabilities into sub-billion parameter Small Language Models (SLMs) without compromising performance. We introduce Equation-of-Thought Distillation (EoTD), a novel technique that encapsulates the reasoning process into equation-based representations to construct an EoTD dataset for fine-tuning SLMs. Additionally, we propose the Ensemble Thoughts Distillation (ETD) framework to enhance the reasoning performance of SLMs. This involves creating a reasoning dataset with multiple thought processes, including Chain-of-Thought (CoT), Program-of-Thought (PoT), and Equation-of-Thought (EoT), and using it for fine-tuning. Our experimental findings demonstrate that EoTD significantly boosts the reasoning abilities of SLMs, while ETD enables these models to achieve state-of-the-art reasoning performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google