ATHENA: Mathematical Reasoning with Thought Expansion

要約

数学の文章問題を解くかどうかは、問題をどのように表現するか、つまりモデルが人間の言語表現を見るレンズにかかっています。
現実世界の設定では、同じ数学的演算の実践方法が多様であるため、このような方法がさらに重要になります。
以前の研究では、数学的知識を獲得する上での重要性を考慮せずに、限られた予測戦略によって利用可能な思考プロセスを制限していました。
私たちは、人間の思考拡張メカニズムをニューラル ネットワーク伝播の形で模倣することにより、現実世界の実践の課題に取り組むために、Attention-based THought Expansion Network Architecture (ATHENA) を導入します。
思考の拡張では、前のステップで導き出された考えられる数式の思考を含む候補が繰り返し生成され、目標への有効な経路を選択することで合理的な思考が得られます。
私たちの実験では、ATHENA が、トレーニング例の有益性が制限されている場合でも、さまざまな質問で説得力のある理想的なモデルに向けて、新たな最先端の段階を達成していることが示されています。

要約(オリジナル)

Solving math word problems depends on how to articulate the problems, the lens through which models view human linguistic expressions. Real-world settings count on such a method even more due to the diverse practices of the same mathematical operations. Earlier works constrain available thinking processes by limited prediction strategies without considering their significance in acquiring mathematical knowledge. We introduce Attention-based THought Expansion Network Architecture (ATHENA) to tackle the challenges of real-world practices by mimicking human thought expansion mechanisms in the form of neural network propagation. A thought expansion recurrently generates the candidates carrying the thoughts of possible math expressions driven from the previous step and yields reasonable thoughts by selecting the valid pathways to the goal. Our experiments show that ATHENA achieves a new state-of-the-art stage toward the ideal model that is compelling in variant questions even when the informativeness in training examples is restricted.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google