Multi-Step Deductive Reasoning Over Natural Language: An Empirical Study on Out-of-Distribution Generalisation

要約

深層学習と記号論理推論を組み合わせることは、両方の分野の成功を活かすことを目的としており、ますます注目を集めています。
ロジック プログラムで推論を実行するようにトレーニングされたエンドツーエンド モデルである DeepLo​​gic からインスピレーションを得て、自然言語で表現された複数ステップの推論のための反復ニューラル推論ネットワークである IMA-GloVe-GA を紹介します。
私たちのモデルでは、ゲート アテンション メカニズムを備えた RNN に基づく反復メモリ ニューラル ネットワークを使用して推論が実行されます。
PARARULES、CONCEPTRULES V1、CONCEPTRULES V2 の 3 つのデータセットで IMA-GloVe-GA を評価します。
実験結果は、ゲート アテンションを備えた DeepLo​​gic が DeepLo​​gic や他の RNN ベースライン モデルよりも高いテスト精度を達成できることを示しています。
私たちのモデルは、ルールがシャッフルされた場合、RoBERTa-Large よりも優れた分布外一般化を実現します。
さらに、現在の複数ステップの推論データセットにおける推論の深さの不均衡な分布の問題に対処するために、より深い推論ステップを必要とするより多くの例を含む大規模なデータセットである PARARULE-Plus を開発しました。
実験結果は、PARARULE-Plus を追加すると、より深い推論の深さを必要とする例でモデルのパフォーマンスが向上することを示しています。
ソース コードとデータは https://github.com/Strong-AI-Lab/Multi-Step-Deductive-Reasoning-Over-Natural-Language で入手できます。

要約(オリジナル)

Combining deep learning with symbolic logic reasoning aims to capitalize on the success of both fields and is drawing increasing attention. Inspired by DeepLogic, an end-to-end model trained to perform inference on logic programs, we introduce IMA-GloVe-GA, an iterative neural inference network for multi-step reasoning expressed in natural language. In our model, reasoning is performed using an iterative memory neural network based on RNN with a gate attention mechanism. We evaluate IMA-GloVe-GA on three datasets: PARARULES, CONCEPTRULES V1 and CONCEPTRULES V2. Experimental results show DeepLogic with gate attention can achieve higher test accuracy than DeepLogic and other RNN baseline models. Our model achieves better out-of-distribution generalisation than RoBERTa-Large when the rules have been shuffled. Furthermore, to address the issue of unbalanced distribution of reasoning depths in the current multi-step reasoning datasets, we develop PARARULE-Plus, a large dataset with more examples that require deeper reasoning steps. Experimental results show that the addition of PARARULE-Plus can increase the model’s performance on examples requiring deeper reasoning depths. The source code and data are available at https://github.com/Strong-AI-Lab/Multi-Step-Deductive-Reasoning-Over-Natural-Language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google