Approximately Equivariant Graph Networks

要約

グラフ ニューラル ネットワーク (GNN) は一般に、グラフ内のノードの再ラベル付けに関して順列等変であると説明されます。
GNN のこの対称性は、ユークリッド畳み込みニューラル ネットワーク (CNN) の変換等分散とよく比較されます。
ただし、これら 2 つの対称性は根本的に異なります。CNN の並進等分散は、画像信号に作用する固定領域の対称性 (アクティブ対称性とも呼ばれます) に対応しますが、GNN では、順列はグラフ信号とグラフ領域の両方に作用します (
受動的対称性として説明されることもあります)。
この研究では、信号が固定グラフでサポートされる学習設定を考慮することで、GNN の能動対称性に焦点を当てます。
この場合、GNN の自然な対称性はグラフの自己同型です。
現実世界のグラフは非対称になる傾向があるため、グラフの粗密化によって近似的な対称性を形式化することで対称性の概念を緩和します。
選択した対称グループに応じて、表現力の損失と学習された推定量の規則性の向上の間のトレードオフを定量化するバイアス分散の公式を提示します。
私たちのアプローチを説明するために、さまざまな対称性を選択して、画像修復、交通流予測、人間の姿勢推定に関する広範な実験を実施しました。
我々は、グラフ自己同型よりも適切に大きいが、順列グループよりは小さいグループを選択することによって、最良の一般化パフォーマンスが達成できることを理論的および経験的に示します。

要約(オリジナル)

Graph neural networks (GNNs) are commonly described as being permutation equivariant with respect to node relabeling in the graph. This symmetry of GNNs is often compared to the translation equivariance of Euclidean convolution neural networks (CNNs). However, these two symmetries are fundamentally different: The translation equivariance of CNNs corresponds to symmetries of the fixed domain acting on the image signals (sometimes known as active symmetries), whereas in GNNs any permutation acts on both the graph signals and the graph domain (sometimes described as passive symmetries). In this work, we focus on the active symmetries of GNNs, by considering a learning setting where signals are supported on a fixed graph. In this case, the natural symmetries of GNNs are the automorphisms of the graph. Since real-world graphs tend to be asymmetric, we relax the notion of symmetries by formalizing approximate symmetries via graph coarsening. We present a bias-variance formula that quantifies the tradeoff between the loss in expressivity and the gain in the regularity of the learned estimator, depending on the chosen symmetry group. To illustrate our approach, we conduct extensive experiments on image inpainting, traffic flow prediction, and human pose estimation with different choices of symmetries. We show theoretically and empirically that the best generalization performance can be achieved by choosing a suitably larger group than the graph automorphism, but smaller than the permutation group.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google