Progressive Mastery: Customized Curriculum Learning with Guided Prompting for Mathematical Reasoning

要約

大規模な言語モデル（LLMS）は、さまざまな推論タスクで顕著なパフォーマンスを達成していますが、トレーニング後は、非効率的なサンプル利用と柔軟性のない難易度サンプル処理によって制約されます。
これらの制限に対処するために、2つの重要な革新を備えた新しいフレームワークであるカスタマイズされたカリキュラム学習（CCL）を提案します。
まず、事前定義された難易度メトリックを使用するのではなく、各モデルの個々の機能に基づいてカリキュラムデータセットをカスタマイズするモデル適応難易度定義を紹介します。
第二に、「ガイド付きプロンプト」を開発します。これにより、戦略的なヒントを通じてサンプルの難易度が動的に減少し、パフォーマンスを低下させる挑戦的なサンプルの効果的な利用を可能にします。
監視された微調整および強化学習に関する包括的な実験は、CCLが5つの数学的推論ベンチマークにわたって均一なトレーニングアプローチを大幅に上回り、サンプルの使用率とモデルのパフォーマンスを強化する際の両方のパラダイムにおけるその効果を確認することを示しています。

要約(オリジナル)

Large Language Models (LLMs) have achieved remarkable performance across various reasoning tasks, yet post-training is constrained by inefficient sample utilization and inflexible difficulty samples processing. To address these limitations, we propose Customized Curriculum Learning (CCL), a novel framework with two key innovations. First, we introduce model-adaptive difficulty definition that customizes curriculum datasets based on each model’s individual capabilities rather than using predefined difficulty metrics. Second, we develop ‘Guided Prompting,’ which dynamically reduces sample difficulty through strategic hints, enabling effective utilization of challenging samples that would otherwise degrade performance. Comprehensive experiments on supervised fine-tuning and reinforcement learning demonstrate that CCL significantly outperforms uniform training approaches across five mathematical reasoning benchmarks, confirming its effectiveness across both paradigms in enhancing sample utilization and model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google