Enhanced Soups for Graph Neural Networks

要約

グラフニューラルネットワーク（GNN）は、多数の科学および高性能コンピューティング（HPC）アプリケーションで最先端のパフォーマンスを実証しています。
最近の研究では、「スープ」（組み合わせて）個別にトレーニングされたGNNSが単一のモデルに分類されると、推論中に計算コストとメモリコストを増加させることなくパフォーマンスを改善できることが示唆されています。
ただし、既存のスープアルゴリズムは、多くの場合、ゆっくりとメモリ集約的であり、スケーラビリティを制限します。
GNNSの学んだスープを紹介します。GNNSは、既存の方法と比較して時間と記憶のオーバーヘッドを大幅に削減するグラデーションデセントベースのスープ戦略です。
私たちのアプローチは、複数のオープングラフベンチマーク（OGB）データセットとGNNアーキテクチャで評価され、最大1.2％の精度改善と2.1倍のスピードアップを達成します。
さらに、メモリの使用量を大幅に削減する学んだスープの新しいパーティションベースのバリアントであるパー​​ティション学習スープを提案します。
グラフセージを備えたOGBN-Productsデータセットでは、パーティションで学んだスープは、精度を損なうことなく、24.5倍のスピードアップと76％のメモリ削減を実現します。

要約(オリジナル)

Graph Neural Networks (GNN) have demonstrated state-of-the-art performance in numerous scientific and high-performance computing (HPC) applications. Recent work suggests that ‘souping’ (combining) individually trained GNNs into a single model can improve performance without increasing compute and memory costs during inference. However, existing souping algorithms are often slow and memory-intensive, which limits their scalability. We introduce Learned Souping for GNNs, a gradient-descent-based souping strategy that substantially reduces time and memory overhead compared to existing methods. Our approach is evaluated across multiple Open Graph Benchmark (OGB) datasets and GNN architectures, achieving up to 1.2% accuracy improvement and 2.1X speedup. Additionally, we propose Partition Learned Souping, a novel partition-based variant of learned souping that significantly reduces memory usage. On the ogbn-products dataset with GraphSAGE, partition learned souping achieves a 24.5X speedup and a 76% memory reduction without compromising accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google