Sparse and Local Networks for Hypergraph Reasoning

要約

入力事実からのエンティティ間の関係についての推論 (たとえば、Ari が Charlie の祖父母であるかどうか) では、通常、クエリで言及されていない他のエンティティ (たとえば、Charlie の両親) を明示的に考慮する必要があります。
この論文では、スパースおよびローカル ハイパーグラフ ニューラル ネットワーク (SpaLoc) を使用して、実世界の大規模なドメインでこの種の問題を解決するための学習アプローチを紹介します。
SpaLoc は、従来の論理ベースの推論からの 2 つの観察によって動機付けられています。リレーショナル推論は通常、ローカルに適用されます (つまり、少数の個人のみが関与します)。関係は通常、まばらです (つまり、ドメイン内の少数のタプルに対してのみ保持されます)。
.
これらのプロパティを活用して、(1) ハイパーグラフ ニューラル ネットワークにスパース テンソル表現を使用し、(2) トレーニング中にスパース化損失を適用してスパース表現を促進し、(3)
トレーニング中の新しい情報十分性ベースのサンプリング プロセス。
SpaLoc は、いくつかの実世界の大規模なナレッジ グラフ推論ベンチマークで最先端のパフォーマンスを達成し、1 万ノードを超える実世界のナレッジ グラフにハイパーグラフ ニューラル ネットワークを適用する最初のフレームワークです。

要約(オリジナル)

Reasoning about the relationships between entities from input facts (e.g., whether Ari is a grandparent of Charlie) generally requires explicit consideration of other entities that are not mentioned in the query (e.g., the parents of Charlie). In this paper, we present an approach for learning to solve problems of this kind in large, real-world domains, using sparse and local hypergraph neural networks (SpaLoc). SpaLoc is motivated by two observations from traditional logic-based reasoning: relational inferences usually apply locally (i.e., involve only a small number of individuals), and relations are usually sparse (i.e., only hold for a small percentage of tuples in a domain). We exploit these properties to make learning and inference efficient in very large domains by (1) using a sparse tensor representation for hypergraph neural networks, (2) applying a sparsification loss during training to encourage sparse representations, and (3) subsampling based on a novel information sufficiency-based sampling process during training. SpaLoc achieves state-of-the-art performance on several real-world, large-scale knowledge graph reasoning benchmarks, and is the first framework for applying hypergraph neural networks on real-world knowledge graphs with more than 10k nodes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google