Uncertainty Propagation in Node Classification

要約

タイトル：ノード分類における不確実性伝播（Uncertainty Propagation in Node Classification）

要約：
– ニューラルネットワークの予測不確実性の計量に注目が集まりつつある。
– 本研究では、ノード分類のタスクにおいてグラフニューラルネットワーク（GNN）の予測不確実性に焦点を当てる。
– 既存のGNNはノード間のメッセージパッシングをモデル化しているが、これらのメッセージは通常確定的である。
– メッセージに不確実性があるか、そしてグラフ上でメッセージとともにその不確実性をどのように伝播させるかという問題が生じる。
– これらの問題に対処するため、Bayesian uncertainty propagation（BUP）という手法を提案している。
– BUPはGNNをBayesianモデリングフレームワークに埋め込んで、予測確率のBayesian confidenceとメッセージの不確実性を用いてノード分類の予測不確実性をモデル化する。
– BUPはGaussianモデルに着想を得た新しい不確実性伝播メカニズムを提案している。
– また、予測不確実性を明確に学習するためのLoss関数も提案する。
– これにより、予測不確実性が大きいトレーニング例はペナルティを受けるようになる。
– BUPは、予測信頼性や外部分布の予測に対する実験によって評価される。
– 学習された不確実性は深く分析され、グラフのトポロジとの関係や、外部分布における予測不確実性についての関係が調査されている。
– 一般的なベンチマークデータセットに対する実験結果は、提案手法の優れた性能を示している。

要約(オリジナル)

Quantifying predictive uncertainty of neural networks has recently attracted increasing attention. In this work, we focus on measuring uncertainty of graph neural networks (GNNs) for the task of node classification. Most existing GNNs model message passing among nodes. The messages are often deterministic. Questions naturally arise: Does there exist uncertainty in the messages? How could we propagate such uncertainty over a graph together with messages? To address these issues, we propose a Bayesian uncertainty propagation (BUP) method, which embeds GNNs in a Bayesian modeling framework, and models predictive uncertainty of node classification with Bayesian confidence of predictive probability and uncertainty of messages. Our method proposes a novel uncertainty propagation mechanism inspired by Gaussian models. Moreover, we present an uncertainty oriented loss for node classification that allows the GNNs to clearly integrate predictive uncertainty in learning procedure. Consequently, the training examples with large predictive uncertainty will be penalized. We demonstrate the BUP with respect to prediction reliability and out-of-distribution (OOD) predictions. The learned uncertainty is also analyzed in depth. The relations between uncertainty and graph topology, as well as predictive uncertainty in the OOD cases are investigated with extensive experiments. The empirical results with popular benchmark datasets demonstrate the superior performance of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI