Logits-Based Finetuning

要約

近年、コンパクトで効率的な大規模な言語モデル（LLMS）の開発は、研究の繁栄した分野として浮上しています。
特異なグラウンドトゥルースラベルに依存している従来の監視施設微調整（SFT）は、トークンレベルの依存関係と言語の多様性をキャプチャできないことがよくあります。
これらの制限に対処するために、監督された学習と知識の蒸留の強みを統合するロジットベースの微調整フレームワークを提案します。
私たちのアプローチは、教師のロジットと地上の真理ラベルを組み合わせて、正確性と言語の多様性の両方を維持することにより、豊富なトレーニングターゲットを構築します。
これにより、より信頼性の高い効果的なトレーニングが保証されます。
大規模な1.2mロジッツデータセットを構築し、一連のサイエンスに焦点を当てたモデルをトレーニングしました。
実験結果は、私たちの方法が大幅な改善を達成し、MAWPで18％、TABMWPで22.7％の精度が得られることを示しています。
広く使用されている9つの数学ベンチマークにまたがるこの方法は、以前のSFTモデルよりも一貫して優れており、平均改善が7.28％を達成しています。
コードはhttps://github.com/dvlab-research/logitsベースのフィネトゥニングで入手できます。

要約(オリジナル)

In recent years, developing compact and efficient large language models (LLMs) has emerged as a thriving area of research. Traditional Supervised Fine-Tuning (SFT), which relies on singular ground truth labels, often fails to capture token-level dependencies and linguistic diversity. To address these limitations, we propose a logits-based fine-tuning framework that integrates the strengths of supervised learning and knowledge distillation. Our approach constructs enriched training targets by combining teacher logits with ground truth labels, preserving both correctness and linguistic diversity. This ensures more reliable and effective training. We constructed a large-scale 1.2M logits dataset and trained a series of science-focused models. Experimental results demonstrate that our method achieves significant improvements, with accuracy gains of 18% on Mawps and 22.7% on TabMWP. Across nine widely used mathematical benchmarks, our method consistently outperforms prior SFT models, achieving an average improvement of 7.28%. Codes are available at https://github.com/dvlab-research/Logits-Based-Finetuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google