Smaller, Weaker, Yet Better: Training LLM Reasoners via Compute-Optimal Sampling

要約

強力な言語モデル (LM) からの高品質の合成データをトレーニングすることは、LM の推論パフォーマンスを向上させるための一般的な戦略です。
この研究では、この戦略が固定推論予算 (FLOP など) の下で計算最適であるかどうかを再検討します。
そのために、強力だが高価な (SE) モデルを使用して合成データを生成する場合と、弱いが安価な (WC) モデルを使用して合成データを生成する場合のトレードオフを調査します。
生成されたデータを、カバレッジ、多様性、および誤検知率という 3 つの主要な指標にわたって評価し、WC モデルからのデータはカバレッジと多様性が高い可能性があるが、誤検知率も高い可能性があることを示します。
次に、さまざまな設定で SE および WC モデルからのデータに基づいて LM を微調整します。つまり、知識の蒸留、自己改善、および弱い LM がより強い LM に推論を教える新しい弱から強への改善セットアップです。
私たちの調査結果は、WC で生成されたデータで微調整されたモデルが、WC モデルと SE モデルの複数のベンチマークおよび複数の選択肢にわたって、SE で生成されたデータでトレーニングされたモデルよりも一貫して優れていることを明らかにしました。
これらの結果は、合成データ生成に SE モデルに依存する一般的な慣行に疑問を呈し、WC が高度な LM 推論器をトレーニングするための計算最適なアプローチである可能性があることを示唆しています。

要約(オリジナル)

Training on high-quality synthetic data from strong language models (LMs) is a common strategy to improve the reasoning performance of LMs. In this work, we revisit whether this strategy is compute-optimal under a fixed inference budget (e.g., FLOPs). To do so, we investigate the trade-offs between generating synthetic data using a stronger but more expensive (SE) model versus a weaker but cheaper (WC) model. We evaluate the generated data across three key metrics: coverage, diversity, and false positive rate, and show that the data from WC models may have higher coverage and diversity, but also exhibit higher false positive rates. We then finetune LMs on data from SE and WC models in different settings: knowledge distillation, self-improvement, and a novel weak-to-strong improvement setup where a weaker LM teaches reasoning to a stronger LM. Our findings reveal that models finetuned on WC-generated data consistently outperform those trained on SE-generated data across multiple benchmarks and multiple choices of WC and SE models. These results challenge the prevailing practice of relying on SE models for synthetic data generation, suggesting that WC may be the compute-optimal approach for training advanced LM reasoners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google