Improving Small Language Models’ Mathematical Reasoning via Mix Thoughts Distillation

要約

この取り組みは、パフォーマンスを損なうことなく、高度なラージ言語モデル (LLM) の数学的推論機能を 10 億未満のパラメータのスモール言語モデル (SLM) に圧縮することで、高度なラージ言語モデル (LLM) を民主化するという課題に取り組んでいます。
思考方程式蒸留 (EoTD) を導入します。これは、推論プロセスを方程式ベースの表現にカプセル化して、SLM を微調整するための EoTD データセットを構築する新しい手法です。
さらに、SLM の推論パフォーマンスを強化するために、Mix Thoughts Distillation (MTD) フレームワークを提案します。
これには、複数の思考プロセスを含む推論データセットを作成し、それを微調整に使用することが含まれます。
私たちの実験結果は、EoTD が SLM の推論能力を大幅に向上させる一方、MTD によりこれらのモデルが最先端の推論パフォーマンスを達成できることを示しています。

要約(オリジナル)

This work addresses the challenge of democratizing advanced Large Language Models (LLMs) by compressing their mathematical reasoning capabilities into sub-billion parameter Small Language Models (SLMs) without compromising performance. We introduce Equation-of-Thought Distillation (EoTD), a novel technique that encapsulates the reasoning process into equation-based representations to construct an EoTD dataset for fine-tuning SLMs. Additionally, we propose the Mix Thoughts Distillation (MTD) framework to enhance the reasoning performance of SLMs. This involves creating a reasoning dataset with multiple thought processes and using it for fine-tuning. Our experimental findings demonstrate that EoTD significantly boosts the reasoning abilities of SLMs, while MTD enables these models to achieve state-of-the-art reasoning performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google