Solving Math Word Problems via Cooperative Reasoning induced Language Models

要約

大規模な事前トレーニング済み言語モデル (PLM) は、難解な問題、特に数学の文章問題 (MWP) などの高度な知性を必要とする問題に新たな機会をもたらします。
ただし、既存の PLM を MWP に直接適用すると、生成プロセスに十分な監視が不足し、人間としての迅速な適応力に欠けるため、失敗する可能性があります。
人間の推論には即時反応系 (システム 1) と繊細な推論系 (システム 2) からなる二重の推論枠組みがあり、全体の推論はそれらの相互作用によって決定されることに気づきました。
このことから、Cooperative Reasoning (CoRe) と呼ばれる、MWP を解決するための協調推論誘導型 PLM を開発することになり、その結果、システム 1 が生成者、システム 2 が検証者となる人間のような推論アーキテクチャが実現しました。
私たちのアプローチでは、ジェネレーターは推論パスの生成を担当し、ジェネレーターに対する信頼性の高いフィードバックを取得するために検証者は評価を監視するために使用されます。
私たちは、いくつかの数学的推論データセットに基づいて CoRe フレームワークを評価し、最先端の手法よりも適切な改善を達成し、最高のベースラインより最大 9.6% の向上を達成しました。
コードは https://github.com/TianHongZXY/CoRe で入手できます。

要約(オリジナル)

Large-scale pre-trained language models (PLMs) bring new opportunities to challenging problems, especially those that need high-level intelligence, such as the math word problem (MWPs). However, directly applying existing PLMs to MWPs can fail as the generation process lacks sufficient supervision and thus lacks fast adaptivity as humans. We notice that human reasoning has a dual reasoning framework that consists of an immediate reaction system (system 1) and a delicate reasoning system (system 2), where the entire reasoning is determined by their interaction. This inspires us to develop a cooperative reasoning-induced PLM for solving MWPs, called Cooperative Reasoning (CoRe), resulting in a human-like reasoning architecture with system 1 as the generator and system 2 as the verifier. In our approach, the generator is responsible for generating reasoning paths, and the verifiers are used to supervise the evaluation in order to obtain reliable feedback for the generator. We evaluate our CoRe framework on several mathematical reasoning datasets and achieve decent improvement over state-of-the-art methods, up to 9.6% increase over best baselines. Our codes are available at https://github.com/TianHongZXY/CoRe

arxiv情報

提供元, 利用サービス

arxiv.jp, Google