Teaching Probabilistic Logical Reasoning to Transformers

要約

トランスフォーマーベースの言語モデルに関する最近の研究では、自然言語テキストで表現された論理ルールに対する言語モデルの推論能力が調査されています。
しかし、推論に役立つモデルによって作成された抽象化を説明できないため、彼らの論理はまだ十分に理解されていません。
これらのモデルは、データ内の複雑なパターンを単に記憶しているだけであると批判されており、観察されていない状況での一般化性に問題が生じることがよくあります。
この研究では、トランスフォーマーベースの言語モデルにおける確率的論理規則の使用を分析します。
特に、我々は、トレーニング中に推論のルールを制約として課すことによって、確率的論理推論を明示的にモデル化する新しいアプローチである確率的制約トレーニング (PCT) を提案します。
私たちは、不確実なテキスト ルールに対する確率的推論を評価するための新しい QA ベンチマークを作成します。これは、既存の唯一の関連ベンチマークとは異なり、インスタンス固有のルールを作成します。
実験結果は、質問応答に確率的論理的推論が必要な場合に、私たちが提案した手法が基本言語モデルの精度と説明可能性を向上させることを示しています。
さらに、学習した確率的推論能力が新しい状況にも応用可能であることを示します。

要約(オリジナル)

Recent research on transformer-based language models investigates their reasoning ability over logical rules expressed in natural language text. However, their logic is not yet well-understood as we cannot explain the abstractions made by the models that help them in reasoning. These models are criticized for merely memorizing complex patterns in the data, which often creates issues for their generalizability in unobserved situations. In this work, we analyze the use of probabilistic logical rules in transformer-based language models. In particular, we propose a new approach, Probabilistic Constraint Training (PCT), that explicitly models probabilistic logical reasoning by imposing the rules of reasoning as constraints during training. We create a new QA benchmark for evaluating probabilistic reasoning over uncertain textual rules, which creates instance-specific rules, unlike the only existing relevant benchmark. Experimental results show that our proposed technique improves the base language models’ accuracy and explainability when probabilistic logical reasoning is required for question answering. Moreover, we show that the learned probabilistic reasoning abilities are transferable to novel situations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google