Multi-Step Deductive Reasoning Over Natural Language: An Empirical Study on Out-of-Distribution Generalisation

要約

深い学習と象徴的な論理推論を組み合わせることは、両方の分野の成功を活用することを目的としており、注目を集めています。
ロジックプログラムに推論を実行するように訓練されたエンドツーエンドモデルであるDeeplogicに触発され、自然言語で表現されたマルチステップ推論のための反復的な神経推論ネットワークであるIMA-Glove-gaを紹介します。
私たちのモデルでは、ゲートの注意メカニズムを備えたRNNに基づく反復メモリニューラルネットワークを使用して推論が実行されます。
IMA-Glove-gaを3つのデータセットで評価します：パラル、コンセプトールV1、コンセプトールV2。
実験結果は、ゲートの注意を払ってディープロージックがディープロジックモデルや他のRNNベースラインモデルよりも高いテスト精度を達成できることを示しています。
私たちのモデルは、ルールがシャッフルされたときに、ロベルタ・ラージよりもディストロイストリーションの一般化をよりよく達成します。
さらに、現在のマルチステップ推論データセットにおける推論深度の不均衡な分布の問題に対処するために、より深い推論ステップを必要とするより多くの例を備えた大規模なデータセットであるpararule-plusを開発します。
実験結果は、Pararule-Plusの追加が、より深い推論の深さを必要とする例でモデルのパフォーマンスを向上させる可能性があることを示しています。
ソースコードとデータは、https：//github.com/strong-ai-lab/multi-step-deductive-rasoning-over-anatural-languageで入手できます。

要約(オリジナル)

Combining deep learning with symbolic logic reasoning aims to capitalize on the success of both fields and is drawing increasing attention. Inspired by DeepLogic, an end-to-end model trained to perform inference on logic programs, we introduce IMA-GloVe-GA, an iterative neural inference network for multi-step reasoning expressed in natural language. In our model, reasoning is performed using an iterative memory neural network based on RNN with a gated attention mechanism. We evaluate IMA-GloVe-GA on three datasets: PARARULES, CONCEPTRULES V1 and CONCEPTRULES V2. Experimental results show DeepLogic with gated attention can achieve higher test accuracy than DeepLogic and other RNN baseline models. Our model achieves better out-of-distribution generalisation than RoBERTa-Large when the rules have been shuffled. Furthermore, to address the issue of unbalanced distribution of reasoning depths in the current multi-step reasoning datasets, we develop PARARULE-Plus, a large dataset with more examples that require deeper reasoning steps. Experimental results show that the addition of PARARULE-Plus can increase the model’s performance on examples requiring deeper reasoning depths. The source code and data are available at https://github.com/Strong-AI-Lab/Multi-Step-Deductive-Reasoning-Over-Natural-Language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google