Efficiently Forgetting What You Have Learned in Graph Representation Learning via Projection

要約

プライバシー保護が注目されるにつれ、事前にトレーニングされたグラフ学習モデルから特定のノードの影響を学習しないことも同様に重要になっています。
ただし、グラフ構造のデータにはノード依存性があるため、グラフ ニューラル ネットワーク (GNN) での表現のアンラーニングは困難であり、十分に検討されていません。
この論文では、最初に線形 GNN の非学習問題を研究し、次にその拡張を非線形構造に導入することで、このギャップを埋めます。
学習を取り消すノードのセットが与えられた場合、忘れられるべきノードの特徴とは無関係な部分空間に事前トレーニング済みモデルの重みパラメーターを射影することによって学習を取り消す PROJECTOR を提案します。
PROJECTOR は、ノードの依存関係によって引き起こされる課題を克服し、完全なデータ削除を享受できます。つまり、未学習のモデル パラメータには、アルゴリズムの構築によって保証される未学習のノード機能に関する情報が含まれていません。
実世界のデータセットでの実験結果は、PROJECTOR の有効性と効率性を示しています。

要約(オリジナル)

As privacy protection receives much attention, unlearning the effect of a specific node from a pre-trained graph learning model has become equally important. However, due to the node dependency in the graph-structured data, representation unlearning in Graph Neural Networks (GNNs) is challenging and less well explored. In this paper, we fill in this gap by first studying the unlearning problem in linear-GNNs, and then introducing its extension to non-linear structures. Given a set of nodes to unlearn, we propose PROJECTOR that unlearns by projecting the weight parameters of the pre-trained model onto a subspace that is irrelevant to features of the nodes to be forgotten. PROJECTOR could overcome the challenges caused by node dependency and enjoys a perfect data removal, i.e., the unlearned model parameters do not contain any information about the unlearned node features which is guaranteed by algorithmic construction. Empirical results on real-world datasets illustrate the effectiveness and efficiency of PROJECTOR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google