Where Did the Gap Go? Reassessing the Long-Range Graph Benchmark

要約

最近の Long-Range Graph Benchmark (LRGB、Dwivedi et al. 2022) では、頂点間の長距離相互作用に強く依存する一連のグラフ学習タスクが導入されました。
経験的証拠は、これらのタスクに関しては、グラフ トランスフォーマーがメッセージ パッシング GNN (MPGNN) よりも大幅に優れていることを示唆しています。
この論文では、LRGB 上の複数の MPGNN ベースラインと Graph Transformer GPS (Ramp\’a\v{s}ek et al. 2022) を慎重に再評価します。
厳密な実証分析を通じて、報告されたパフォーマンスのギャップは、最適ではないハイパーパラメーターの選択が原因で過大評価されていることを示します。
基本的なハイパーパラメータの最適化後、複数のデータセットにわたってパフォーマンスのギャップが完全になくなることは注目に値します。
さらに、LRGB の視覚データセットに対する特徴正規化の欠如の影響について議論し、LRGB のリンク予測メトリックの偽の実装を強調します。
私たちの論文の主な目的は、グラフ機械学習コミュニティ内でより高い経験的厳密性の基準を確立することです。

要約(オリジナル)

The recent Long-Range Graph Benchmark (LRGB, Dwivedi et al. 2022) introduced a set of graph learning tasks strongly dependent on long-range interaction between vertices. Empirical evidence suggests that on these tasks Graph Transformers significantly outperform Message Passing GNNs (MPGNNs). In this paper, we carefully reevaluate multiple MPGNN baselines as well as the Graph Transformer GPS (Ramp\’a\v{s}ek et al. 2022) on LRGB. Through a rigorous empirical analysis, we demonstrate that the reported performance gap is overestimated due to suboptimal hyperparameter choices. It is noteworthy that across multiple datasets the performance gap completely vanishes after basic hyperparameter optimization. In addition, we discuss the impact of lacking feature normalization for LRGB’s vision datasets and highlight a spurious implementation of LRGB’s link prediction metric. The principal aim of our paper is to establish a higher standard of empirical rigor within the graph machine learning community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google