Gradient scarcity with Bilevel Optimization for Graph Learning

要約

半教師あり設定でのグラフ学習における一般的な問題は、勾配不足と呼ばれます。
つまり、ノードのサブセットでの損失を最小化することによってグラフを学習すると、ラベル付けされたものから遠く離れたラベル付けされていないノード間のエッジがゼロ勾配を受け取ります。
この現象は、共同最適化アルゴリズムを使用してグラフ ニューラル ネットワーク (GCN) のグラフと重みを最適化するときに最初に説明されました。
この作業では、この現象の正確な数学的特徴付けを行い、問題のパラメーター間に追加の依存関係が存在するバイレベル最適化にも現れることを証明します。
GCN では、有限の受容野が原因で勾配不足が発生しますが、ラプラシアン正則化モデルでも発生することを示します。これは、ラベル付けされたノードまでの距離に応じて勾配振幅が指数関数的に減少するという意味です。
この問題を軽減するために、私たちはいくつかの解決策を研究しています: Graph-to-Graph モデル (G2G) を使用した潜在グラフ学習、グラフの正則化によるグラフの事前構造の強制、または元のグラフよりも大きなグラフでの最適化に頼ることを提案します。
直径を小さくしたもの。
合成データセットと実際のデータセットに関する実験により、分析が検証され、提案されたソリューションの効率が証明されます。

要約(オリジナル)

A common issue in graph learning under the semi-supervised setting is referred to as gradient scarcity. That is, learning graphs by minimizing a loss on a subset of nodes causes edges between unlabelled nodes that are far from labelled ones to receive zero gradients. The phenomenon was first described when optimizing the graph and the weights of a Graph Neural Network (GCN) with a joint optimization algorithm. In this work, we give a precise mathematical characterization of this phenomenon, and prove that it also emerges in bilevel optimization, where additional dependency exists between the parameters of the problem. While for GCNs gradient scarcity occurs due to their finite receptive field, we show that it also occurs with the Laplacian regularization model, in the sense that gradients amplitude decreases exponentially with distance to labelled nodes. To alleviate this issue, we study several solutions: we propose to resort to latent graph learning using a Graph-to-Graph model (G2G), graph regularization to impose a prior structure on the graph, or optimizing on a larger graph than the original one with a reduced diameter. Our experiments on synthetic and real datasets validate our analysis and prove the efficiency of the proposed solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google