Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning?

要約

構成性は、象徴的推論の極めて重要な特性です。
ただし、最近の神経モデルが構成性をどの程度うまく捉えているかは、象徴的推論タスクでは未調査のままです。
この研究では、マルチホップ算術シンボリック推論の慎重に制御されたデータセットを使用して、最近公開された事前トレーニング済みの seq2seq モデルを体系的に調べることにより、この問題に経験的に対処しています。
体系性、生産性、および代替性という 3 つの構成次元とともに、複雑さの階層レベルを定義する算術記号推論における構成性に関するスキル ツリーを紹介します。
私たちの実験では、3 種類の構成の中で、モデルは体系性に最も苦労し、比較的単純な構成でもパフォーマンスが低いことが明らかになりました。
この問題は、中間推論ステップでモデルをトレーニングした後でも解決されませんでした。

要約(オリジナル)

Compositionality is a pivotal property of symbolic reasoning. However, how well recent neural models capture compositionality remains underexplored in the symbolic reasoning tasks. This study empirically addresses this question by systematically examining recently published pre-trained seq2seq models with a carefully controlled dataset of multi-hop arithmetic symbolic reasoning. We introduce a skill tree on compositionality in arithmetic symbolic reasoning that defines the hierarchical levels of complexity along with three compositionality dimensions: systematicity, productivity, and substitutivity. Our experiments revealed that among the three types of composition, the models struggled most with systematicity, performing poorly even with relatively simple compositions. That difficulty was not resolved even after training the models with intermediate reasoning steps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google