GNNMerge: Merging of GNN Models Without Accessing Training Data

要約

モデルのマージは、元のトレーニングデータにアクセスせずに複数のトレーニングモデルを単一のモデルに統合する方法として、機械学習で顕著になりました。
既存のアプローチは、コンピュータービジョンやNLPなどのドメインで成功を示していますが、グラフニューラルネットワーク（GNNS）へのアプリケーションは未開拓のままです。
これらの方法は、多くの場合、共有初期化の仮定に依存していますが、これはGNNにはめったに適用されません。
この作業では、GNNのモデルマージアルゴリズムの最初のベンチマーク調査を実施し、このコンテキストでの限られた効果を明らかにします。
これらの課題に対処するために、GNNSをマージするためにアライメント戦略を埋め込むタスクに依存しないノードを利用するGnnmergeを提案します。
さらに、穏やかなリラクゼーションの下で、提案された最適化目標は、広く使用されているGNNアーキテクチャの直接的な分析ソリューションを認め、計算効率を大幅に向上させることを確立します。
多様なデータセット、タスク、およびアーキテクチャにわたる経験的評価により、GNNMERGEは既存の方法よりも最大24％の正確であることが確立され、ゼロからのトレーニングと比較して2桁以上のスピードアップを提供します。

要約(オリジナル)

Model merging has gained prominence in machine learning as a method to integrate multiple trained models into a single model without accessing the original training data. While existing approaches have demonstrated success in domains such as computer vision and NLP, their application to Graph Neural Networks (GNNs) remains unexplored. These methods often rely on the assumption of shared initialization, which is seldom applicable to GNNs. In this work, we undertake the first benchmarking study of model merging algorithms for GNNs, revealing their limited effectiveness in this context. To address these challenges, we propose GNNMerge, which utilizes a task-agnostic node embedding alignment strategy to merge GNNs. Furthermore, we establish that under a mild relaxation, the proposed optimization objective admits direct analytical solutions for widely used GNN architectures, significantly enhancing its computational efficiency. Empirical evaluations across diverse datasets, tasks, and architectures establish GNNMerge to be up to 24% more accurate than existing methods while delivering over 2 orders of magnitude speed-up compared to training from scratch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google