Towards Controllable Natural Language Inference through Lexical Inference Types

要約

説明可能な自然言語推論は、主張を支持前提に根拠付ける説明的 (アブダクティブ) 推論チェーンを生成するメカニズムを提供することを目的としています。
EntailmentBank と呼ばれる最近のコーパスは、含意ツリー \cite{dalvi2021explaining} を使用して質問に対する答えを説明することで、このタスクを前進させることを目指しています。
彼らは T5 モデルを使用してツリーを直接生成し、答えがどのように推測されるかを説明できます。
ただし、マルチホップ推論プロセスにとって重要な中間ステップの生成を説明および制御する機能が欠けています。
% 最近のコーパスの 1 つである EntailmentBank は、含意ツリー \cite{dalvi2021explaining} に従って質問に対する答えを説明することで、このタスクを推進することを目的としています。
彼らは T5 を使用してツリーを直接生成します。これにより、答えがどのように推論されるかについては説明できますが、マルチホップ推論プロセスに不可欠な中間値がどのように生成されるかについては説明できません。
この研究では、複数前提の説明推論のための制御された自然言語推論アーキテクチャを提案することに焦点を当てます。
制御を改善し、生成全体にわたる説明分析を可能にするために、抽象意味表現 (AMR) グラフに基づいて語彙推論タイプを定義し、T5 のアーキテクチャを変更して、そのタイプ情報に条件付けされた潜在的な文表現 (T5 ボトルネック) を学習します。
また、十分に根拠のある語彙記号操作を備えた、注釈付きの説明推論ステップ約 5000 のデータセットも提供します。
実験結果は、T5 ボトルネックで誘発された推論型付けが、T5 が明示的な制御の下で結論を生成するのに役立つことを示しています。

要約(オリジナル)

Explainable natural language inference aims to provide a mechanism to produce explanatory (abductive) inference chains which ground claims to their supporting premises. A recent corpus called EntailmentBank strives to advance this task by explaining the answer to a question using an entailment tree \cite{dalvi2021explaining}. They employ the T5 model to directly generate the tree, which can explain how the answer is inferred. However, it lacks the ability to explain and control the generation of intermediate steps, which is crucial for the multi-hop inference process. % One recent corpus, EntailmentBank, aims to push this task forward by explaining an answer to a question according to an entailment tree \cite{dalvi2021explaining}. They employ T5 to generate the tree directly, which can explain how the answer is inferred but cannot explain how the intermediate is generated, which is essential to the multi-hop inference process. In this work, we focus on proposing a controlled natural language inference architecture for multi-premise explanatory inference. To improve control and enable explanatory analysis over the generation, we define lexical inference types based on Abstract Meaning Representation (AMR) graph and modify the architecture of T5 to learn a latent sentence representation (T5 bottleneck) conditioned on said type information. We also deliver a dataset of approximately 5000 annotated explanatory inference steps, with well-grounded lexical-symbolic operations. Experimental results indicate that the inference typing induced at the T5 bottleneck can help T5 to generate a conclusion under explicit control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google