Enhancing Transformers for Generalizable First-Order Logical Entailment

要約

トランスフォーマーは、基本的な深い学習アーキテクチャとして、推論に大きな能力を実証しています。
このペーパーでは、パラメーター化された知識とそれを改善する方法を使用した変圧器の一般化可能な1次論理推論能力について説明します。
トランスの1次推論の能力は、知識グラフのクエリに答える際のパフォーマンスによって定量的に測定される一次論理的密接を行うことができるかどうかによってさらに捉えられます。
（1）分散式の一般化で研究された2種類の分布シフトと、（2）知識グラフクエリ応答のタスクで説明されている目に見えない知識とクエリの設定との接続を確立します。
包括的なデータセットの結果は、トランスがこのタスクのために特に設計された以前の方法よりも優れていることを示し、トランスの推論能力に関する入力クエリ構文、トークン埋め込み、トランスアーキテクチャの影響に関する詳細な経験的証拠を提供しました。
興味深いことに、我々の結果は、以前のプラクティスにおける位置エンコードの不一致とトランスアーキテクチャのその他の設計の選択を明らかにしました。
これに動機付けられて、私たちは、一般化可能な一次論理的密接のパフォーマンスを大幅に改善する論理認識アーキテクチャであるTegaを提案します。

要約(オリジナル)

Transformers, as the fundamental deep learning architecture, have demonstrated great capability in reasoning. This paper studies the generalizable first-order logical reasoning ability of transformers with their parameterized knowledge and how to improve it. Transformers’ capability of first-order reasoning is further captured by whether they can conduct first-order logical entailment, which is quantitatively measured by their performance in answering knowledge graph queries. We establish the connections between (1) two types of distribution shifts studied in out-of-distribution generalization and (2) unseen knowledge and query settings discussed in the task of knowledge graph query answering, which makes it possible to characterize the fine-grained generalizability. Results on our comprehensive dataset showed that transformers outperform previous methods designed particularly for this task and provided detailed empirical evidence about the impact of the input query syntax, token embedding, and transformer architectures on the reasoning capability of transformers. Interestingly, our results revealed the mismatch of positional encoding and other design choices of transformer architectures in previous practices. Motivated by this, we propose TEGA, a logic-aware architecture that significantly improves the performance in generalizable first-order logical entailment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google