Natural Language Deduction with Incomplete Information

要約

自然言語の「証明」、つまり一連の前提に基づいて答えを導き出す一連の演繹的推論を生成することによって、質問に答えたり主張を検証したりする方法を研究する研究が増えています。
ただし、これらの方法は、与えられた証拠に基づいた場合にのみ、適切な推論を行うことができます。
我々は、最初にすべての前提が述べられていない、仕様が不十分な設定を処理できる新しいシステムを提案します。
つまり、主張を証明するには追加の仮定を具体化する必要があります。
自然言語生成モデルを使用して、別の前提と結論が与えられた前提をアブダクティブに推論することにより、結論が真実であるために必要な欠落した証拠を推測することができます。
私たちのシステムは、演繹的 (前方連鎖) とアブダクティブ (後方連鎖) の生成ステップをインターリーブしながら、双方向方式で 2 つのフリンジを検索します。
各ステップで考えられる複数の出力をサンプリングして検索スペースをカバーすると同時に、ラウンドトリップ検証手順で低品質の生成をフィルタリングすることで正確性を保証します。
EntailmentBank データセットの修正バージョンと、Everyday Norm: Why Not? と呼ばれる新しいデータセットの結果
検証を伴うアブダクティブ生成により、ドメイン内およびドメイン外の設定全体で前提を回復できることを示す

要約(オリジナル)

A growing body of work studies how to answer a question or verify a claim by generating a natural language ‘proof’: a chain of deductive inferences yielding the answer based on a set of premises. However, these methods can only make sound deductions when they follow from evidence that is given. We propose a new system that can handle the underspecified setting where not all premises are stated at the outset; that is, additional assumptions need to be materialized to prove a claim. By using a natural language generation model to abductively infer a premise given another premise and a conclusion, we can impute missing pieces of evidence needed for the conclusion to be true. Our system searches over two fringes in a bidirectional fashion, interleaving deductive (forward-chaining) and abductive (backward-chaining) generation steps. We sample multiple possible outputs for each step to achieve coverage of the search space, at the same time ensuring correctness by filtering low-quality generations with a round-trip validation procedure. Results on a modified version of the EntailmentBank dataset and a new dataset called Everyday Norms: Why Not? show that abductive generation with validation can recover premises across in- and out-of-domain settings

arxiv情報

提供元, 利用サービス

arxiv.jp, Google