The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models

要約

大規模な言語モデル（LLMS）の推論機能を改善するには、通常、ラベル付きデータまたは計算高価なサンプリングを使用して、監視された微調整が必​​要です。
LLMの推論効率を高めるために、監視されていないプレフィックス微調整（UPFT）を導入します。
初期プレフィックスサブストリング（8つのトークンもわずか8トークン）でのみトレーニングすることにより、upftはラベル付きデータまたは徹底的なサンプリングの必要性を削除します。
推論ベンチマークの実験は、UPFTが微調整の除去サンプリングなどの監視された方法のパフォーマンスと一致し、トレーニング時間を75％削減し、コストを99％削減することを示しています。
さらなる分析により、エラーは推論プロセスの後期段階に表示される傾向があり、プレフィックスベースのトレーニングがモデルの構造知識を保持することが明らかになりました。
この作業は、監視されていない微調整が最小限の微調整がLLMSのかなりの推論の利益を解き放つことができ、従来のアプローチに代わるスケーラブルでリソース効率の高い代替品を提供することを示しています。

要約(オリジナル)

Improving the reasoning capabilities of large language models (LLMs) typically requires supervised fine-tuning with labeled data or computationally expensive sampling. We introduce Unsupervised Prefix Fine-Tuning (UPFT), which leverages the observation of Prefix Self-Consistency — the shared initial reasoning steps across diverse solution trajectories — to enhance LLM reasoning efficiency. By training exclusively on the initial prefix substrings (as few as 8 tokens), UPFT removes the need for labeled data or exhaustive sampling. Experiments on reasoning benchmarks show that UPFT matches the performance of supervised methods such as Rejection Sampling Fine-Tuning, while reducing training time by 75% and sampling cost by 99%. Further analysis reveals that errors tend to appear in later stages of the reasoning process and that prefix-based training preserves the model’s structural knowledge. This work demonstrates how minimal unsupervised fine-tuning can unlock substantial reasoning gains in LLMs, offering a scalable and resource-efficient alternative to conventional approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google