Unlink to Unlearn: Simplifying Edge Unlearning in GNNs

要約

データプライバシーに対する懸念が強まる中、グラフニューラルネットワーク（GNN）におけるアンラーニングが学界の著名な研究フロンティアとして浮上している。
この概念は \textit{忘れられる権利} を強制する上で極めて重要であり、これにはユーザーの要求に応じてトレーニング済み GNN から特定のデータを選択的に削除することが伴います。
私たちの研究は、現実世界のアプリケーションに特に関連するプロセスであるエッジアンラーニングに焦点を当てています。
GNNDelete のような現在の最先端のアプローチは、特定のエッジの影響を排除できますが、\textit{over-forgetting} の問題に悩まされます。これは、アンラーニング プロセスによって必要以上の過剰な情報が誤って削除され、残りのエッジのパフォーマンスが大幅に低下することを意味します。
。
私たちの分析では、GNNDelete の損失関数が過剰忘却の主な原因であることが特定され、効果的なエッジのアンラーニングには損失関数が冗長である可能性があることも示唆されています。
これらの洞察に基づいて、GNNDelete を簡略化して \textbf{Unlink to Unlearn} (UtU) を開発します。これは、グラフ構造から忘却エッジのリンクを解除することによって独占的にアンラーニングを容易にする新しいメソッドです。
私たちの広範な実験により、UtU は再トレーニングされたモデルのプライバシー保護機能の 97.3\% 以上とリンク予測精度の 99.8\% を維持することで、ダウンストリーム タスクの高精度を維持しながら、再トレーニングされたモデルと同等のプライバシー保護を提供することが実証されました。
一方、UtU は一定の計算要求のみを必要とし、非常に軽量で実用的なエッジ非学習ソリューションとしての利点を強調しています。

要約(オリジナル)

As concerns over data privacy intensify, unlearning in Graph Neural Networks (GNNs) has emerged as a prominent research frontier in academia. This concept is pivotal in enforcing the \textit{right to be forgotten}, which entails the selective removal of specific data from trained GNNs upon user request. Our research focuses on edge unlearning, a process of particular relevance to real-world applications. Current state-of-the-art approaches like GNNDelete can eliminate the influence of specific edges yet suffer from \textit{over-forgetting}, which means the unlearning process inadvertently removes excessive information beyond needed, leading to a significant performance decline for remaining edges. Our analysis identifies the loss functions of GNNDelete as the primary source of over-forgetting and also suggests that loss functions may be redundant for effective edge unlearning. Building on these insights, we simplify GNNDelete to develop \textbf{Unlink to Unlearn} (UtU), a novel method that facilitates unlearning exclusively through unlinking the forget edges from graph structure. Our extensive experiments demonstrate that UtU delivers privacy protection on par with that of a retrained model while preserving high accuracy in downstream tasks, by upholding over 97.3\% of the retrained model’s privacy protection capabilities and 99.8\% of its link prediction accuracy. Meanwhile, UtU requires only constant computational demands, underscoring its advantage as a highly lightweight and practical edge unlearning solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google