Quantifying and Defending against Privacy Threats on Federated Knowledge Graph Embedding

要約

タイトル：フェデレーテッド・ナレッジ・グラフ埋め込みにおけるプライバシーの脅威の計量化と防御

要約：
– ナレッジ・グラフ埋め込み（KGE）は、多様な下流タスクを促進するために、ナレッジ・グラフから表現豊かな表現を抽出する基本的な技術である。
– 新興のフェデレーテッド・KGE（FKGE）は、クライアント間で分散されたKGを保持しながら共同でトレーニングを行うが、クライアントの機密データが交換されないため、他のフェデレーテッドモデルトレーニング（例えばニューラルネットワーク）での証拠があるように、プライバシーの脅威にさらされる可能性がある。
– FKGEには、以前研究されたモデルと共有されない固有の特性があるため、そのようなプライバシーの脅威を計量化し、防御することはまだ開拓されていない。
– 本論文では、攻撃と防御の両面からFKGEのプライバシー脅威の初めての包括的な研究を行う。
– 攻撃については、3つの新しい推論攻撃を提案し、被害クライアントからKGトリプルの存在を成功裏に推論して、著しいプライバシーリスクを明らかにすることで、プライバシー脅威を計量化する。
– 防御については、私たちはDP-Flamesという新しい差分プライバシーFKGEを提案し、エンティティバインディングスパース勾配プロパティを利用し、最先端のプライバシー選択技術を組み込んだパイプラインを提供することで、プライバシー-有用性トレードオフを改善する。
– さらに、適応的プライバシーバジェット割り当てポリシーを提案し、トレーニング手順全体で防御量を動的に調整する。包括的な評価により、提案された防御が効果的にプライバシー脅威を軽減し、推論攻撃の成功率を平均して83.1％から59.4％に適度な有用性低下で減らすことができることが示された。

要約(オリジナル)

Knowledge Graph Embedding (KGE) is a fundamental technique that extracts expressive representation from knowledge graph (KG) to facilitate diverse downstream tasks. The emerging federated KGE (FKGE) collaboratively trains from distributed KGs held among clients while avoiding exchanging clients’ sensitive raw KGs, which can still suffer from privacy threats as evidenced in other federated model trainings (e.g., neural networks). However, quantifying and defending against such privacy threats remain unexplored for FKGE which possesses unique properties not shared by previously studied models. In this paper, we conduct the first holistic study of the privacy threat on FKGE from both attack and defense perspectives. For the attack, we quantify the privacy threat by proposing three new inference attacks, which reveal substantial privacy risk by successfully inferring the existence of the KG triple from victim clients. For the defense, we propose DP-Flames, a novel differentially private FKGE with private selection, which offers a better privacy-utility tradeoff by exploiting the entity-binding sparse gradient property of FKGE and comes with a tight privacy accountant by incorporating the state-of-the-art private selection technique. We further propose an adaptive privacy budget allocation policy to dynamically adjust defense magnitude across the training procedure. Comprehensive evaluations demonstrate that the proposed defense can successfully mitigate the privacy threat by effectively reducing the success rate of inference attacks from $83.1\%$ to $59.4\%$ on average with only a modest utility decrease.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI