Independent Distribution Regularization for Private Graph Embedding

要約

グラフの埋め込みを学習することは、グラフ マイニング タスクにおいて重要なタスクです。
効果的なグラフ埋め込みモデルは、ノード分類やリンク予測などのさまざまな下流アプリケーションに利益をもたらすデータ公開のためにグラフ構造データから低次元表現を学習できます。しかし、最近の研究では、グラフ埋め込みが属性推論攻撃の影響を受けやすいことが明らかになりました。
攻撃者が学習したグラフの埋め込みからプライベート ノードの属性を推測できるようにします。
これらの懸念に対処するために、一次学習と敵対的学習によるプライバシー保護を同時に考慮することを目的とした、プライバシー保護グラフ埋め込み手法が登場しました。
ただし、既存の手法のほとんどは、表現モデルがトレーニング段階で事前にすべての機密属性にアクセスできることを前提としていますが、プライバシーの好みが多様であるため、常にそうであるとは限りません。
さらに、プライバシー保護表現学習で一般的に使用される敵対的学習手法には、トレーニングが不安定であるという問題があります。
この論文では、正則化項として独立分散ペナルティを利用したプライベート変分グラフ オートエンコーダ (PVGAE) と呼ばれる新しいアプローチを提案します。
具体的には、元の変分グラフ オートエンコーダ (VGAE) を分割し、2 セットのエンコーダを使用して敏感な潜在表現と非敏感な潜在表現を学習しました。
さらに、エンコーダーの独立性を強制するための新しい正則化を導入します。
相互情報量の観点から正則化の理論的有効性を証明します。
3 つの現実世界のデータセットに関する実験結果は、PVGAE がユーティリティのパフォーマンスとプライバシー保護に関するプライベート埋め込み学習において他のベースラインよりも優れていることを示しています。

要約(オリジナル)

Learning graph embeddings is a crucial task in graph mining tasks. An effective graph embedding model can learn low-dimensional representations from graph-structured data for data publishing benefiting various downstream applications such as node classification, link prediction, etc. However, recent studies have revealed that graph embeddings are susceptible to attribute inference attacks, which allow attackers to infer private node attributes from the learned graph embeddings. To address these concerns, privacy-preserving graph embedding methods have emerged, aiming to simultaneously consider primary learning and privacy protection through adversarial learning. However, most existing methods assume that representation models have access to all sensitive attributes in advance during the training stage, which is not always the case due to diverse privacy preferences. Furthermore, the commonly used adversarial learning technique in privacy-preserving representation learning suffers from unstable training issues. In this paper, we propose a novel approach called Private Variational Graph AutoEncoders (PVGAE) with the aid of independent distribution penalty as a regularization term. Specifically, we split the original variational graph autoencoder (VGAE) to learn sensitive and non-sensitive latent representations using two sets of encoders. Additionally, we introduce a novel regularization to enforce the independence of the encoders. We prove the theoretical effectiveness of regularization from the perspective of mutual information. Experimental results on three real-world datasets demonstrate that PVGAE outperforms other baselines in private embedding learning regarding utility performance and privacy protection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google