Energy-based Epistemic Uncertainty for Graph Neural Networks

要約

グラフなどの相互依存データを含むドメインでは、不確実性がさまざまな構造スケールで発生する可能性があるため、グラフ ニューラル ネットワーク (GNN) の認識論的不確実性を定量化することは困難です。
既存の技術はこの問題を無視するか、構造を意識した不確実性と構造に依存しない不確実性を単一の尺度に結合せずに区別するだけです。
我々は、グラフの拡散から自然に生じるさまざまな構造レベルでのエネルギーを集約することにより、高品質の不確実性推定を提供するエネルギーベースのモデル (EBM) である GEBM を提案します。
ロジットベースの EBM とは対照的に、エネルギー関数を正則化することにより、データ空間に可積分密度を誘導できることが証明されています。
GNN の予測堅牢性を大幅に向上させる EBM の証拠的解釈を導入します。
私たちのフレームワークは、さまざまな分布の変化に敏感な事前トレーニング済みの GNN に適用できる、シンプルで効果的な事後手法です。
これは、7 種類の異常のうち 6 種類について、分布内データと分布外データの最適な分離を一貫して達成し、 \emph{all} データセットのシフト全体で最高の平均ランクを実現します。

要約(オリジナル)

In domains with interdependent data, such as graphs, quantifying the epistemic uncertainty of a Graph Neural Network (GNN) is challenging as uncertainty can arise at different structural scales. Existing techniques neglect this issue or only distinguish between structure-aware and structure-agnostic uncertainty without combining them into a single measure. We propose GEBM, an energy-based model (EBM) that provides high-quality uncertainty estimates by aggregating energy at different structural levels that naturally arise from graph diffusion. In contrast to logit-based EBMs, we provably induce an integrable density in the data space by regularizing the energy function. We introduce an evidential interpretation of our EBM that significantly improves the predictive robustness of the GNN. Our framework is a simple and effective post hoc method applicable to any pre-trained GNN that is sensitive to various distribution shifts. It consistently achieves the best separation of in-distribution and out-of-distribution data on 6 out of 7 anomaly types while having the best average rank over shifts on \emph{all} datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google