In-n-Out: Calibrating Graph Neural Networks for Link Prediction

要約

ディープ ニューラル ネットワークは校正が誤っていることで有名です。つまり、その出力は、予測しようとしているイベントの真の確率を反映していません。
通常、表形式または画像データのネットワークは過信されていますが、最近の研究では、グラフ ニューラル ネットワーク (GNN) がノードレベルの分類では逆の動作を示すことが示されています。
しかし、リンクを予測するとどうなるでしょうか?
この場合、GNN はしばしば混合した動作を示すことがわかります。
より具体的には、ネガティブな予測に対しては過信する一方、ポジティブな予測に対しては過信する可能性があります。
この観察に基づいて、リンク予測のために GNN を調整する史上初の方法である IN-N-OUT を提案します。
IN-N-OUT は 2 つの単純な直感に基づいています。i) GNN 予測を尊重しながらエッジに真/偽ラベルを帰属させると、そのエッジの埋め込みにわずかな変動が生じるはずです。
逆に、ii) GNN と矛盾する同じエッジにラベルを付けると、埋め込みはより大幅に変化するはずです。
大規模な実験キャンペーンにより、IN-N-OUT によってリンク予測における GNN のキャリブレーションが大幅に向上し、この特定のタスク用に設計されていない利用可能なベースラインを常に上回るパフォーマンスが得られることが示されています。

要約(オリジナル)

Deep neural networks are notoriously miscalibrated, i.e., their outputs do not reflect the true probability of the event we aim to predict. While networks for tabular or image data are usually overconfident, recent works have shown that graph neural networks (GNNs) show the opposite behavior for node-level classification. But what happens when we are predicting links? We show that, in this case, GNNs often exhibit a mixed behavior. More specifically, they may be overconfident in negative predictions while being underconfident in positive ones. Based on this observation, we propose IN-N-OUT, the first-ever method to calibrate GNNs for link prediction. IN-N-OUT is based on two simple intuitions: i) attributing true/false labels to an edge while respecting a GNNs prediction should cause but small fluctuations in that edge’s embedding; and, conversely, ii) if we label that same edge contradicting our GNN, embeddings should change more substantially. An extensive experimental campaign shows that IN-N-OUT significantly improves the calibration of GNNs in link prediction, consistently outperforming the baselines available — which are not designed for this specific task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google