Logical Message Passing Networks with One-hop Inference on Atomic Formulas

要約

タイトル：原子的なフォーミュラによる一段階推論に基づいた論理メッセージパッシングネットワーク

要約：
– 複雑なクエリに関する知識グラフ（KG）の問い合わせに対して、ニューラルモデルを使用しているため、知識グラフが通常不完全であることが示唆される。
– KGの作成に必要なエンティティおよび関係の数が多い場合は、神経集合演算子を訓練するためにゼロから数値埋め込みを使用することができます。
– 一方、本研究では、KGの深い集合演算子の埋め込みを分解するためのシンプルなフレームワークを提案しています。
– 複雑なクエリをクエリグラフに表現し、クエリグラフの上に論理メッセージパッシングニューラルネットワーク（LMPNN）を提案し、複雑なクエリに対するグローバル論理推論に対して、原子的なフォーミュラによるローカルな一段階推論から一連のメッセージを伝えます。
– 全体的な論理式に対する推論過程は、LMPNNの順方向のパスに変換されます。
– LMPNNアーキテクチャに基づくトレーニング例から、異なる種類のクエリ間での複雑な論理推論が学習されます。
– 理論的には、クエリグラフ表現は従来の演算子ツリー形式よりも一般的であり、LMPNNでの実験的評価により、新たな最新のニューラルCQAモデルが導かれます。

要約ポイント：
– 複雑なクエリに対してLMPNNを使用して、原子フォーミュラのローカルな一段階推論とグローバル論理推論を結びつける
– LMPNNを使用して、クエリグラフに複雑なクエリを表現し、多様なクエリタイプに適用可能
– KGに必要な数のエンティティと関係の数が多い場合、ゼロから数値埋め込みを使用して、神経集合演算子を訓練することができる
– 現存する効果的なKG埋め込みを利用して、原子フォーミュラに基づく一段階推論を行い、LMPNNで伝えられるメッセージに使用できる
– トレーニング例に基づくLMPNNアーキテクチャの推論により、異なる種類のクエリ間での複雑な論理推論が学習される

要約(オリジナル)

Complex Query Answering (CQA) over Knowledge Graphs (KGs) has attracted a lot of attention to potentially support many applications. Given that KGs are usually incomplete, neural models are proposed to answer the logical queries by parameterizing set operators with complex neural networks. However, such methods usually train neural set operators with a large number of entity and relation embeddings from the zero, where whether and how the embeddings or the neural set operators contribute to the performance remains not clear. In this paper, we propose a simple framework for complex query answering that decomposes the KG embeddings from neural set operators. We propose to represent the complex queries into the query graph. On top of the query graph, we propose the Logical Message Passing Neural Network (LMPNN) that connects the local one-hop inferences on atomic formulas to the global logical reasoning for complex query answering. We leverage existing effective KG embeddings to conduct one-hop inferences on atomic formulas, the results of which are regarded as the messages passed in LMPNN. The reasoning process over the overall logical formulas is turned into the forward pass of LMPNN that incrementally aggregates local information to finally predict the answers’ embeddings. The complex logical inference across different types of queries will then be learned from training examples based on the LMPNN architecture. Theoretically, our query-graph represenation is more general than the prevailing operator-tree formulation, so our approach applies to a broader range of complex KG queries. Empirically, our approach yields the new state-of-the-art neural CQA model. Our research bridges the gap between complex KG query answering tasks and the long-standing achievements of knowledge graph representation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI