NaturalReasoning: Reasoning in the Wild with 2.8M Challenging Questions

要約

数学やコーディングなどの従来のドメインを超えたスケーリングの推論機能は、多様で高品質の質問がないために妨げられています。
この制限を克服するために、参照回答を伴う多様で挑戦的な推論の質問を生成するためのスケーラブルなアプローチを紹介します。
STEMフィールド（物理学、コンピューターサイエンスなど）、経済学、社会科学などを含む複数のドメインにまたがる280万の質問を含む包括的なデータセットであるNaturalReasoningを提示します。
ナチュラルリングが強力な教師モデルから推論能力を効果的に引き出して転送できることを示す知識蒸留実験を通じて、自然reasonidingの質問の有用性を示します。
さらに、NaturalReasoningは、外部報酬モデルまたは自己報酬を使用した監視されていない自己訓練にも効果的であることを実証します。

要約(オリジナル)

Scaling reasoning capabilities beyond traditional domains such as math and coding is hindered by the lack of diverse and high-quality questions. To overcome this limitation, we introduce a scalable approach for generating diverse and challenging reasoning questions, accompanied by reference answers. We present NaturalReasoning, a comprehensive dataset comprising 2.8 million questions that span multiple domains, including STEM fields (e.g., Physics, Computer Science), Economics, Social Sciences, and more. We demonstrate the utility of the questions in NaturalReasoning through knowledge distillation experiments which show that NaturalReasoning can effectively elicit and transfer reasoning capabilities from a strong teacher model. Furthermore, we demonstrate that NaturalReasoning is also effective for unsupervised self-training using external reward models or self-rewarding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google