Probing Graph Representations

要約

現在、私たちはグラフ ニューラル ネットワーク (GNN) の表現力について十分な理論的理解を持っています。
たとえば、それらの制限は、Weisfeiler-Lehman (WL) 同形テストの階層に関連して特徴付けられています。
ただし、学習した表現に何がエンコードされているかはわかりません。
これが私たちの主な質問です。
グラフ表現でキャプチャされた意味のある情報の量を定量化するために、調査フレームワークを使用してそれに答えます。
分子データセットに関する私たちの調査結果は、グラフベースのモデルの誘導バイアスを理解するための調査の可能性を示しています。
モデルのさまざまなファミリを比較し、トランスフォーマー ベースのモデルは、メッセージ パッシングに基づくモデルと比較して、より化学的に関連する情報をキャプチャすることを示します。
また、スキップ接続や仮想ノードなど、さまざまな設計選択の影響も調査します。
グラフベースのモデルを評価するための有用な診断ツールとして、プロービングを推奨します。

要約(オリジナル)

Today we have a good theoretical understanding of the representational power of Graph Neural Networks (GNNs). For example, their limitations have been characterized in relation to a hierarchy of Weisfeiler-Lehman (WL) isomorphism tests. However, we do not know what is encoded in the learned representations. This is our main question. We answer it using a probing framework to quantify the amount of meaningful information captured in graph representations. Our findings on molecular datasets show the potential of probing for understanding the inductive biases of graph-based models. We compare different families of models and show that transformer-based models capture more chemically relevant information compared to models based on message passing. We also study the effect of different design choices such as skip connections and virtual nodes. We advocate for probing as a useful diagnostic tool for evaluating graph-based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google