Uncertainty in GNN Learning Evaluations: A Comparison Between Measures for Quantifying Randomness in GNN Community Detection

要約

(1) クラスター化されたノードの教師なしコミュニティ検出におけるグラフ ニューラル ネットワーク (GNN) の強化された機能は、グラフの接続性と特徴情報空間の両方をエンコードする能力に起因します。
潜在コミュニティの特定は、ソーシャル ネットワークからゲノミクスに至るまで、さまざまな領域で実用的な重要性を持っています。
現在の現実世界のパフォーマンス ベンチマークは、このタスクの GNN 評価に影響を与える多数の決定により、複雑になっています。
(2) ランダム性が存在する場合のアルゴリズムのランキングの一貫性を評価するために 3 つの指標が比較されます。
デフォルトのハイパーパラメータを使用したハイパーパラメータ最適化の結果間のパフォーマンスの一貫性と品質が評価されます。
(3) この結果では、ハイパーパラメータの最適化とデフォルトのハイパーパラメータが比較されており、ハイパーパラメータの調査を無視すると大幅なパフォーマンスの低下が明らかになりました。
メトリクスを比較すると、ランクの同点によってランダム性の定量化が大幅に変わる可能性があることがわかります。
(4) 同じ評価基準を確実に遵守すると、このタスクのメソッドの報告されたパフォーマンスに顕著な差異が生じる可能性があります。
Wasserstein 距離に基づく $W$ Randomness 係数は、ランダム性の最も堅牢な評価を提供するものとして識別されます。

要約(オリジナル)

(1) The enhanced capability of Graph Neural Networks (GNNs) in unsupervised community detection of clustered nodes is attributed to their capacity to encode both the connectivity and feature information spaces of graphs. The identification of latent communities holds practical significance in various domains, from social networks to genomics. Current real-world performance benchmarks are perplexing due to the multitude of decisions influencing GNN evaluations for this task. (2) Three metrics are compared to assess the consistency of algorithm rankings in the presence of randomness. The consistency and quality of performance between the results under a hyperparameter optimisation with the default hyperparameters is evaluated. (3) The results compare hyperparameter optimisation with default hyperparameters, revealing a significant performance loss when neglecting hyperparameter investigation. A comparison of metrics indicates that ties in ranks can substantially alter the quantification of randomness. (4) Ensuring adherence to the same evaluation criteria may result in notable differences in the reported performance of methods for this task. The $W$ Randomness coefficient, based on the Wasserstein distance, is identified as providing the most robust assessment of randomness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google