Uncertainty in GNN Learning Evaluations: The Importance of a Consistent Benchmark for Community Detection

要約

グラフ ニューラル ネットワーク (GNN) は、グラフの接続性と特徴情報空間の二次元性をエンコードできる機能により、クラスター化されたノードの教師なしコミュニティ検出を改善しました。
潜在的なコミュニティの特定には、ソーシャル ネットワークからゲノミクスに至るまで、多くの実用的な用途があります。
現実世界のパフォーマンスの現在のベンチマークは、このタスクでの GNN の評価に影響を与えるさまざまな決定により、混乱を招きます。
これに対処するために、共通の評価プロトコルを確立するためのフレームワークを提案します。
私たちは、プロトコルがある場合とない場合の違いを実証することで、それを動機づけ、正当化します。
W ランダム係数は、ランダム性の存在下での結果の信頼性を定量化するために、アルゴリズムのランキングの一貫性を評価するために提案された指標です。
同じ評価基準に従うことを保証することで、このタスクで報告されたメソッドのパフォーマンスとは大きな違いが生じる可能性がありますが、メソッドのより完全な評価と比較が可能であることがわかりました。

要約(オリジナル)

Graph Neural Networks (GNNs) have improved unsupervised community detection of clustered nodes due to their ability to encode the dual dimensionality of the connectivity and feature information spaces of graphs. Identifying the latent communities has many practical applications from social networks to genomics. Current benchmarks of real world performance are confusing due to the variety of decisions influencing the evaluation of GNNs at this task. To address this, we propose a framework to establish a common evaluation protocol. We motivate and justify it by demonstrating the differences with and without the protocol. The W Randomness Coefficient is a metric proposed for assessing the consistency of algorithm rankings to quantify the reliability of results under the presence of randomness. We find that by ensuring the same evaluation criteria is followed, there may be significant differences from the reported performance of methods at this task, but a more complete evaluation and comparison of methods is possible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google