DP-GPL: Differentially Private Graph Prompt Learning

要約

グラフニューラルネットワーク（GNNS）は、さまざまなアプリケーションで顕著なパフォーマンスを示しています。
最近、グラフプロンプトラーニングは、言語およびビジョンファンデーションモデルの進歩に触発された、強力なGNNトレーニングパラダイムとして浮上しました。
ここでは、GNNはパブリックデータで事前に訓練され、軽量グラフプロンプトを使用して機密タスクに適応します。
ただし、機密データからのプロンプトを使用すると、プライバシーリスクが発生します。
この作業では、大きなプライバシーの漏れを明らかにするメンバーシップ推論攻撃をインスタンス化することにより、グラフプロンプトのこれらの実際的なリスクを調査した最初のものです。
また、プロンプトの学習に使用される機密データポイントの数が少ないため、おそらくグラフプロンプト学習で実用的なプライバシー – 有効性のトレードオフを提供していない標準的なプライバシー方法DP-SGDはまた、実用的なプライバシー – 有効性のトレードオフを提供できないことがわかります。
解決策として、PATEフレームワークに基づいた差別的なプライベートグラフプロンプト学習用のDP-GPLを提案し、プライバシー保証を保証するグラフプロンプトを生成します。
さまざまなグラフプロンプト学習方法、GNNアーキテクチャ、およびトレーニング前の戦略にわたる評価は、アルゴリズムが強力なプライバシーで高いユーティリティを達成し、グラフドメインの強力な基礎モデルとしてGNNSの強力な機能を維持しながら、プライバシーの懸念を効果的に緩和することを示しています。

要約(オリジナル)

Graph Neural Networks (GNNs) have shown remarkable performance in various applications. Recently, graph prompt learning has emerged as a powerful GNN training paradigm, inspired by advances in language and vision foundation models. Here, a GNN is pre-trained on public data and then adapted to sensitive tasks using lightweight graph prompts. However, using prompts from sensitive data poses privacy risks. In this work, we are the first to investigate these practical risks in graph prompts by instantiating a membership inference attack that reveals significant privacy leakage. We also find that the standard privacy method, DP-SGD, fails to provide practical privacy-utility trade-offs in graph prompt learning, likely due to the small number of sensitive data points used to learn the prompts. As a solution, we propose DP-GPL for differentially private graph prompt learning based on the PATE framework, that generates a graph prompt with differential privacy guarantees. Our evaluation across various graph prompt learning methods, GNN architectures, and pre-training strategies demonstrates that our algorithm achieves high utility at strong privacy, effectively mitigating privacy concerns while preserving the powerful capabilities of prompted GNNs as powerful foundation models in the graph domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google