Uncertainty Modeling in Graph Neural Networks via Stochastic Differential Equations

要約

グラフ構造データの不確実性を認識する表現を学習する問題に対処するために、新しい確率微分方程式（SDE）フレームワークを提案します。
グラフニューラルの通常の微分方程式（GNODE）は学習ノード表現に有望を示していますが、不確実性を定量化する能力がありません。
これに対処するために、潜在的なグラフ神経確率的微分方程式（LGNSDE）を導入します。これは、認識論的不確実性のベイジアン前後メカニズムを介してランダム性を埋め込み、アレアトリックの不確実性のためのブラウン運動を埋め込むことによりGNODEを強化します。
グラフベースのSDEに対するソリューションの存在と一意性を活用することにより、潜在空間の分散がモデル出力の分散に境界を掲載し、それによって不確実性の推定値に対して理論的に賢明な保証を提供することを証明します。
さらに、LGNSDEは入力の小さな摂動に対して堅牢であり、時間の経過とともに安定性を維持することを数学的に示します。
いくつかのベンチマークにわたる経験的結果は、私たちのフレームワークが分散除外検出、ノイズへの堅牢性、および積極的な学習において競争力があることを示しています。

要約(オリジナル)

We propose a novel Stochastic Differential Equation (SDE) framework to address the problem of learning uncertainty-aware representations for graph-structured data. While Graph Neural Ordinary Differential Equations (GNODEs) have shown promise in learning node representations, they lack the ability to quantify uncertainty. To address this, we introduce Latent Graph Neural Stochastic Differential Equations (LGNSDE), which enhance GNODE by embedding randomness through a Bayesian prior-posterior mechanism for epistemic uncertainty and Brownian motion for aleatoric uncertainty. By leveraging the existence and uniqueness of solutions to graph-based SDEs, we prove that the variance of the latent space bounds the variance of model outputs, thereby providing theoretically sensible guarantees for the uncertainty estimates. Furthermore, we show mathematically that LGNSDEs are robust to small perturbations in the input, maintaining stability over time. Empirical results across several benchmarks demonstrate that our framework is competitive in out-of-distribution detection, robustness to noise, and active learning, underscoring the ability of LGNSDEs to quantify uncertainty reliably.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google