Laying the Foundation First? Investigating the Generalization from Atomic Skills to Complex Reasoning Tasks

要約

現在の言語モデルは、基本的な推論を開発する能力を実証していますが、算術や単位変換などのスキルを必要とする数学の文章題など、アトミックなスキルの組み合わせを必要とするより複雑な推論タスクでは困難を伴います。
以前の方法では、モデルに固有のアトミック スキルが向上しないか、アトミック スキルを複雑な推論タスクに一般化しようとしませんでした。
この論文では、最初に、アトミックスキルが複雑な推論タスクに自発的に一般化できるかどうかを調査するための調査フレームワークを提案します。
次に、より優れたスキルの一般化を達成するために、階層型カリキュラム学習トレーニング戦略を導入します。
私たちの実験では、アトミックなスキルは構成的なタスクに自発的に一般化できないことがわかりました。
階層的なカリキュラム学習を活用することで、汎化を誘導することに成功し、複雑な推論タスクにおけるオープンソース LM のパフォーマンスを大幅に向上させます。
スキルの汎化は、クロスデータセットおよびクロスドメインのシナリオで効果を発揮することが期待されます。
複雑な推論は、アトミックなスキルを向上させるのにも役立ちます。
私たちの発見は、複雑な推論タスクのためのより良いトレーニング戦略を設計するための貴重な指針を提供します。

要約(オリジナル)

Current language models have demonstrated their capability to develop basic reasoning, but struggle in more complicated reasoning tasks that require a combination of atomic skills, such as math word problem requiring skills like arithmetic and unit conversion. Previous methods either do not improve the inherent atomic skills of models or not attempt to generalize the atomic skills to complex reasoning tasks. In this paper, we first propose a probing framework to investigate whether the atomic skill can spontaneously generalize to complex reasoning tasks. Then, we introduce a hierarchical curriculum learning training strategy to achieve better skill generalization. In our experiments, we find that atomic skills can not spontaneously generalize to compositional tasks. By leveraging hierarchical curriculum learning, we successfully induce generalization, significantly improve the performance of open-source LMs on complex reasoning tasks. Promisingly, the skill generalization exhibit effective in cross-dataset and cross-domain scenarios. Complex reasoning can also help enhance atomic skills. Our findings offer valuable guidance for designing better training strategies for complex reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google