Spectral Maps for Learning on Subgraphs

要約

グラフ学習では、グラフとそのサブグラフ間の写像が頻繁に発生します。
たとえば、粗大化または再配線操作がパイプラインに沿って存在する場合、元のグラフと変更されたグラフの間の対応するノードを追跡する必要があります。
古典的に、これらのマップはバイナリ ノード間対応行列として表され、グラフ間でノードごとの特徴を転送するためにそのまま使用されます。
この論文では、このマップ表現を変更するだけで、グラフ学習タスクに顕著な利点がもたらされると主張します。
ジオメトリ処理の最近の進歩から着想を得て、既存のグラフ学習モデルに簡単に統合できるマップのスペクトル表現を導入します。
このスペクトル表現は、コンパクトで簡単なプラグインの代替品であり、グラフのトポロジー変化に対して堅牢です。
驚くべきことに、表現は解釈可能な構造特性を示し、滑らかな多様体に関する最近の結果との類似性を引き出します。
グラフ学習パイプラインにスペクトル マップを組み込むことの利点、ノード間マップが明確に定義されていないシナリオ、または正確な同型がないシナリオに対処することの利点を示します。
私たちのアプローチは、知識の蒸留と階層学習において実用的な利点をもたらし、計算コストのほんの一部で同等または改善されたパフォーマンスを示します。

要約(オリジナル)

In graph learning, maps between graphs and their subgraphs frequently arise. For instance, when coarsening or rewiring operations are present along the pipeline, one needs to keep track of the corresponding nodes between the original and modified graphs. Classically, these maps are represented as binary node-to-node correspondence matrices and used as-is to transfer node-wise features between the graphs. In this paper, we argue that simply changing this map representation can bring notable benefits to graph learning tasks. Drawing inspiration from recent progress in geometry processing, we introduce a spectral representation for maps that is easy to integrate into existing graph learning models. This spectral representation is a compact and straightforward plug-in replacement and is robust to topological changes of the graphs. Remarkably, the representation exhibits structural properties that make it interpretable, drawing an analogy with recent results on smooth manifolds. We demonstrate the benefits of incorporating spectral maps in graph learning pipelines, addressing scenarios where a node-to-node map is not well defined, or in the absence of exact isomorphism. Our approach bears practical benefits in knowledge distillation and hierarchical learning, where we show comparable or improved performance at a fraction of the computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google