GraphLoRA: Structure-Aware Contrastive Low-Rank Adaptation for Cross-Graph Transfer Learning

要約

グラフ ニューラル ネットワーク (GNN) は、電子商取引やソーシャル ネットワークなど、さまざまなドメインにわたるさまざまなグラフ分析タスクの処理において顕著な熟練度を示しています。
GNN はその多用途性にもかかわらず、転送可能性において大きな課題に直面しており、現実世界のアプリケーションでの有用性が制限されています。
GNN 転移学習の既存の研究では、さまざまなグラフ データセット間の分布の不一致が見落とされており、異なる分布間での転送時に課題に直面しています。
さまざまな特徴と構造分布を持つ新しいグラフに、十分にトレーニングされた GNN を効果的に導入する方法は、依然として十分に検討されていない問題です。
大規模な言語モデルをさまざまなドメインに適応させる低ランク適応 (LoRA) の成功からインスピレーションを得て、私たちは、よく訓練された GNN をさまざまなグラフ ドメインに転送するための効果的かつパラメーター効率の高い方法である GraphLoRA を提案します。
具体的には、まず、ソース グラフとターゲット グラフ全体で発散ノードの特徴分布を揃えるために、構造認識最大平均不一致 (SMMD) を提案します。
さらに、事前トレーニング済みの GNN と並行して小さなトレーニング可能な GNN を注入することで低ランク適応を導入し、壊滅的な忘却を軽減しながら構造分布のギャップを効果的に橋渡しします。
さらに、構造を意識した正則化目標が、監視ラベルが乏しいターゲットグラフに対する事前トレーニング済み GNN の適応性を強化するために提案されています。
8 つの現実世界のデータセットに対する広範な実験により、異種のグラフ ドメイン間であってもパラメータの 20% のみを調整することにより、14 のベースラインに対する GraphLoRA の有効性が実証されました。
コードは https://github.com/AllminerLab/GraphLoRA で入手できます。

要約(オリジナル)

Graph Neural Networks (GNNs) have demonstrated remarkable proficiency in handling a range of graph analytical tasks across various domains, such as e-commerce and social networks. Despite their versatility, GNNs face significant challenges in transferability, limiting their utility in real-world applications. Existing research in GNN transfer learning overlooks discrepancies in distribution among various graph datasets, facing challenges when transferring across different distributions. How to effectively adopt a well-trained GNN to new graphs with varying feature and structural distributions remains an under-explored problem. Taking inspiration from the success of Low-Rank Adaptation (LoRA) in adapting large language models to various domains, we propose GraphLoRA, an effective and parameter-efficient method for transferring well-trained GNNs to diverse graph domains. Specifically, we first propose a Structure-aware Maximum Mean Discrepancy (SMMD) to align divergent node feature distributions across source and target graphs. Moreover, we introduce low-rank adaptation by injecting a small trainable GNN alongside the pre-trained one, effectively bridging structural distribution gaps while mitigating the catastrophic forgetting. Additionally, a structure-aware regularization objective is proposed to enhance the adaptability of the pre-trained GNN to target graph with scarce supervision labels. Extensive experiments on eight real-world datasets demonstrate the effectiveness of GraphLoRA against fourteen baselines by tuning only 20% of parameters, even across disparate graph domains. The code is available at https://github.com/AllminerLab/GraphLoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google