Where Did the Gap Go? Reassessing the Long-Range Graph Benchmark

要約

最近のLRGB（Long-Range Graph Benchmark, Dwivedi et al. 2022）では、頂点間の長距離相互作用に強く依存するグラフ学習タスクが導入された。経験的な証拠は、これらのタスクにおいてグラフ変換器がメッセージパッシングGNN（MPGNN）を大幅に上回ることを示唆している。本稿では、LRGB上のGraph Transformer GPS (Ramp’av{s}ek et al. 2022)と同様に、複数のMPGNNベースラインを注意深く再評価する。厳密な経験的分析を通じて、我々は、報告された性能差が、最適でないハイパーパラメータの選択のために過大評価されていることを実証する。注目すべきは、複数のデータセットにおいて、基本的なハイパーパラメータの最適化を行うと、性能差が完全に消失することである。さらに、LRGBの視覚データセットにおける特徴正規化の欠落の影響について議論し、LRGBのリンク予測メトリックのスプリアスな実装を強調する。本稿の主な目的は、グラフ機械学習コミュニティにおいて、経験的厳密性のより高い基準を確立することである。

要約(オリジナル)

The recent Long-Range Graph Benchmark (LRGB, Dwivedi et al. 2022) introduced a set of graph learning tasks strongly dependent on long-range interaction between vertices. Empirical evidence suggests that on these tasks Graph Transformers significantly outperform Message Passing GNNs (MPGNNs). In this paper, we carefully reevaluate multiple MPGNN baselines as well as the Graph Transformer GPS (Ramp\’a\v{s}ek et al. 2022) on LRGB. Through a rigorous empirical analysis, we demonstrate that the reported performance gap is overestimated due to suboptimal hyperparameter choices. It is noteworthy that across multiple datasets the performance gap completely vanishes after basic hyperparameter optimization. In addition, we discuss the impact of lacking feature normalization for LRGB’s vision datasets and highlight a spurious implementation of LRGB’s link prediction metric. The principal aim of our paper is to establish a higher standard of empirical rigor within the graph machine learning community.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL