MindGYM: What Matters in Question Synthesis for Thinking-Centric Fine-Tuning?

要約

大規模なファンデーションモデルは、特に剛性テンプレートまたは群衆発表の命令データセットで監督されている場合、移転可能な構造化された思考能力を獲得する際の課題に直面しています。
以前のアプローチとは異なり、モデルが自己生成された認知誘導データを通じて進化できるようにする思考中心のデータ合成パラダイムに焦点を当てます。
質問統合の構造化されたスケーラブルなフレームワークであるMindGymを提案します。
（2）シードシングルホップの質問統合。多様なセマンティックタイプから原子質問を生成して、より広範な思考を促進する。
（3）より深い推論のためにQA種子に基づいて、より複雑なマルチホップの質問を構成するマルチホップQA合成に挑戦します。
詳細な分析によると、この方法で生成された合成データは、ベースラインソースと比較して平均品質が16.7％高く、67.91％低い品質の分散を達成し、高品質と自己完結型のデータの両方が効果的で思考志向の微調整に不可欠であることを強調しています。
MindGymは、6つの推論ベンチマークでのパフォーマンスを改善し、400のデータサンプルのみを使用してMathVisionで最大16％の利益を達成し、さまざまなモデルサイズとアーキテクチャにわたって一般化可能な改善を達成します。
MindGymは、人間の介入と資源の要求を最小限に抑えながら、大規模なモデル能力を改善する際の自己挑戦メカニズムの実行可能性を強調しています。
コードとデータは、内部推論能力によって駆動される自己進化の基礎モデルに関するデータ中心の研究を促進するためにリリースされます。

要約(オリジナル)

Large foundation models face challenges in acquiring transferable, structured thinking abilities, especially when supervised with rigid templates or crowd-annotated instruction datasets. Unlike prior approaches, we focus on a thinking-centric data synthesis paradigm that enables models to evolve through self-generated, cognitively guided data. We propose MindGYM, a structured and scalable framework for question synthesis, composed of: (1) Cognitive Thinking Process Injection, which infuses high-level reasoning objectives to shape the model’s synthesis behavior; (2) Seed Single-Hop Question Synthesis, generating atomic questions from diverse semantic types to encourage broader thinking; and (3) Challenging Multi-Hop QA Synthesis, composing more complex multi-hop questions based on QA seeds for deeper reasoning. Detailed analysis shows that synthetic data generated by our method achieves 16.7% higher average quality and 67.91% lower quality variance compared to baseline sources, highlighting that both high-quality and self-contained data are essential for effective, thinking-oriented fine-tuning. MindGYM improves performance on six reasoning benchmarks, achieving gains of up to 16% on MathVision using only 400 data samples, and generalizable improvements across different model sizes and architectures. MindGYM underscores the viability of self-challenging mechanisms in refining large model capabilities while minimizing human intervention and resource demands. Code and data are released to promote data-centric research into self-evolving foundation models driven by their internal reasoning capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google