From Continuous Dynamics to Graph Neural Networks: Neural Diffusion and Beyond

要約

グラフ ニューラル ネットワーク (GNN) は、リレーショナル データのモデリングにおいて大きな可能性を示しており、さまざまな関心分野に広く適用されています。
GNN の背後にある重要なメカニズムは、いわゆるメッセージ パッシングであり、情報が近隣ノードから中央ノードに繰り返し集約されます。
このようなスキームは、熱拡散として知られる物理プロセスと本質的に関連していることがわかっており、GNN の伝播は自然に熱密度の進化に対応します。
熱ダイナミクスに伝わるメッセージのプロセスを分析することで、GNN の能力と落とし穴を根本的に理解できるようになり、結果としてより良いモデル設計に役立ちます。
最近、過剰平滑化や過剰潰しなどの GNN の既知の制限を緩和するために、連続力学定式化からインスピレーションを得た GNN を提案する作品が大量に登場しています。
この調査では、GNN の継続的な視点を活用した研究の体系的かつ包括的なレビューを初めて提供します。
この目的を達成するために、グラフ ニューラル ダイナミクスの設計のための一般的なフレームワークとともに、連続ダイナミクスを GNN に適応させるための基本的な要素を紹介します。
次に、既存の作品を、その駆動メカニズムと根底にあるダイナミクスに基づいてレビューし、分類します。
また、古典的な GNN の制限が継続的なフレームワークの下でどのように対処できるかについてもまとめます。
最後に、複数のオープンな研究の方向性を特定します。

要約(オリジナル)

Graph neural networks (GNNs) have demonstrated significant promise in modelling relational data and have been widely applied in various fields of interest. The key mechanism behind GNNs is the so-called message passing where information is being iteratively aggregated to central nodes from their neighbourhood. Such a scheme has been found to be intrinsically linked to a physical process known as heat diffusion, where the propagation of GNNs naturally corresponds to the evolution of heat density. Analogizing the process of message passing to the heat dynamics allows to fundamentally understand the power and pitfalls of GNNs and consequently informs better model design. Recently, there emerges a plethora of works that proposes GNNs inspired from the continuous dynamics formulation, in an attempt to mitigate the known limitations of GNNs, such as oversmoothing and oversquashing. In this survey, we provide the first systematic and comprehensive review of studies that leverage the continuous perspective of GNNs. To this end, we introduce foundational ingredients for adapting continuous dynamics to GNNs, along with a general framework for the design of graph neural dynamics. We then review and categorize existing works based on their driven mechanisms and underlying dynamics. We also summarize how the limitations of classic GNNs can be addressed under the continuous framework. We conclude by identifying multiple open research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google