DepWiGNN: A Depth-wise Graph Neural Network for Multi-hop Spatial Reasoning in Text

要約

テキストにおける空間推論は、現実世界のさまざまなアプリケーションで重要な役割を果たします。
空間推論のための既存のアプローチは通常、純粋なテキストから空間関係を推論するため、自然言語と記号構造の間のギャップが見落とされます。
グラフ ニューラル ネットワーク (GNN) は、シンボリック構造の誘導と集約において優れた能力を発揮しています。
ただし、古典的な GNN は、過度の平滑化の問題により、マルチホップの空間推論を処理する際に課題に直面しています。つまり、グラフ層の数が増加すると、パフォーマンスが大幅に低下します。
これらの課題に対処するために、私たちは新しい深度ワイズ グラフ ニューラル ネットワーク (DepWiGNN) を提案します。
具体的には、新しいノード メモリ スキームを設計し、グラフの幅の次元ではなく深さの次元にわたって情報を集約します。これにより、複数のレイヤーを積み重ねることなく長い依存関係を収集できるようになります。
2 つの困難なマルチホップ空間推論データセットに関する実験結果は、DepWiGNN が既存の空間推論手法よりも優れていることを示しています。
他の 3 つの GNN との比較は、グラフ内の長い依存関係を捕捉する際の GNN の優位性をさらに示しています。

要約(オリジナル)

Spatial reasoning in text plays a crucial role in various real-world applications. Existing approaches for spatial reasoning typically infer spatial relations from pure text, which overlooks the gap between natural language and symbolic structures. Graph neural networks (GNNs) have showcased exceptional proficiency in inducing and aggregating symbolic structures. However, classical GNNs face challenges in handling multi-hop spatial reasoning due to the over-smoothing issue, i.e., the performance decreases substantially as the number of graph layers increases. To cope with these challenges, we propose a novel Depth-Wise Graph Neural Network (DepWiGNN). Specifically, we design a novel node memory scheme and aggregate the information over the depth dimension instead of the breadth dimension of the graph, which empowers the ability to collect long dependencies without stacking multiple layers. Experimental results on two challenging multi-hop spatial reasoning datasets show that DepWiGNN outperforms existing spatial reasoning methods. The comparisons with the other three GNNs further demonstrate its superiority in capturing long dependency in the graph.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google