Systematic Reasoning About Relational Domains With Graph Neural Networks

要約

推論を学習できるモデルの開発は、非常に難しい問題であることで知られています。
私たちは、グラフ ニューラル ネットワーク (GNN) の使用が自然な選択であると思われるリレーショナル ドメインでの推論に焦点を当てています。
ただし、GNN を使用した推論に関するこれまでの研究では、トレーニング中に見られたものよりも長い推論チェーンを必要とするテスト例が提示された場合、そのようなモデルは失敗する傾向があることが示されています。
これは、GNN には体系的な方法でトレーニング例から一般化する能力が欠けており、推論能力が根本的に制限されることを示唆しています。
一般的な解決策は、代わりに、設計により体系的な方法で推論できる神経記号的手法に依存することです。
残念ながら、このような方法のスケーラビリティは制限されていることが多く、たとえば単一のリレーショナル パスを検査することでクエリに回答できるなど、過度に強い仮定に依存する傾向があります。
この論文では、GNN による推論の考え方を再検討し、適切な帰納バイアスが提供されている限り体系的な一般化が可能であることを示します。
特に、ノードの埋め込みは認識論的状態として扱われるべきであり、GNN はそれに応じてパラメータ化されるべきであると主張します。
我々は、この考え方に基づいた単純な GNN アーキテクチャを提案し、それが最先端の結果を達成できることを示します。
さらに、複数の関係パスからの証拠を集約するためにモデルを必要とするベンチマークを導入します。
私たちは、既存の神経記号的アプローチがこのベンチマークでは失敗するのに対し、私たちが検討した GNN モデルは正確に推論することを学習することを示します。

要約(オリジナル)

Developing models that can learn to reason is a notoriously challenging problem. We focus on reasoning in relational domains, where the use of Graph Neural Networks (GNNs) seems like a natural choice. However, previous work on reasoning with GNNs has shown that such models tend to fail when presented with test examples that require longer inference chains than those seen during training. This suggests that GNNs lack the ability to generalize from training examples in a systematic way, which would fundamentally limit their reasoning abilities. A common solution is to instead rely on neuro-symbolic methods, which are capable of reasoning in a systematic way by design. Unfortunately, the scalability of such methods is often limited and they tend to rely on overly strong assumptions, e.g.\ that queries can be answered by inspecting a single relational path. In this paper, we revisit the idea of reasoning with GNNs, showing that systematic generalization is possible as long as the right inductive bias is provided. In particular, we argue that node embeddings should be treated as epistemic states and that GNN should be parameterised accordingly. We propose a simple GNN architecture which is based on this view and show that it is capable of achieving state-of-the-art results. We furthermore introduce a benchmark which requires models to aggregate evidence from multiple relational paths. We show that existing neuro-symbolic approaches fail on this benchmark, whereas our considered GNN model learns to reason accurately.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google