Evaluating Robustness and Uncertainty of Graph Models Under Structural Distributional Shifts

要約

機械学習に基づく信頼性の高い意思決定システムでは、モデルは分布の変化に対して堅牢であるか、予測の不確実性を提供する必要があります。
グラフ学習のノードレベルの問題では、サンプルが相互に依存しているため、分布のシフトが特に複雑になる可能性があります。
グラフ モデルのパフォーマンスを評価するには、多様で意味のある分布シフトでテストすることが重要です。
ただし、ノードレベルの問題の分布シフトを考慮するほとんどのグラフ ベンチマークは主にノードの特徴に焦点を当てていますが、グラフの問題のデータは主にその構造特性によって定義されます。
この作業では、グラフ構造に基づいて多様な分布シフトを誘発するための一般的なアプローチを提案します。
このアプローチを使用して、いくつかの構造ノード プロパティ (人気、局所性、密度) に従ってデータ分割を作成します。
私たちの実験では、提案された分布シフトを徹底的に評価し、それらが既存のグラフモデルにとって非常に難しいことを示しています。
提案されたアプローチが、信頼性の高いグラフ機械学習のさらなる発展に役立つことを願っています。

要約(オリジナル)

In reliable decision-making systems based on machine learning, models have to be robust to distributional shifts or provide the uncertainty of their predictions. In node-level problems of graph learning, distributional shifts can be especially complex since the samples are interdependent. To evaluate the performance of graph models, it is important to test them on diverse and meaningful distributional shifts. However, most graph benchmarks that consider distributional shifts for node-level problems focus mainly on node features, while data in graph problems is primarily defined by its structural properties. In this work, we propose a general approach for inducing diverse distributional shifts based on graph structure. We use this approach to create data splits according to several structural node properties: popularity, locality, and density. In our experiments, we thoroughly evaluate the proposed distributional shifts and show that they are quite challenging for existing graph models. We hope that the proposed approach will be helpful for the further development of reliable graph machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google