KDk: A Defense Mechanism Against Label Inference Attacks in Vertical Federated Learning

要約

垂直フェデレーテッド ラーニング (VFL) はフェデレーテッド ラーニングのカテゴリの 1 つで、垂直に分割されたデータを使用して関係者間でモデルが共同でトレーニングされます。
通常、VFL シナリオでは、サンプルのラベルは、集約サーバー (ラベル所有者) を除くすべての関係者に対して非公開に保たれます。
それにもかかわらず、最近の研究では、サーバーから最下位モデルに返された勾配情報を悪用することにより、攻撃者がトレーニング データ ポイントの非常に限られたサブセット上の補助ラベルの小さなセットのみを知っていれば、プライベート ラベルを推測できることが判明しました。
これらの攻撃は、VFL ではラベル推論攻撃として知られています。
私たちの研究では、知識蒸留と k-匿名性を組み合わせて、VFL シナリオでの潜在的なラベル推論攻撃に対する防御メカニズムを提供する、KDk と呼ばれる新しいフレームワークを提案します。
徹底的な実験キャンペーンを通じて、私たちのアプローチを適用することで、分析されたラベル推論攻撃のパフォーマンスが一貫して、場合によっては 60% 以上低下し、VFL 全体の精度がほとんど変更されずに維持されることを実証しました。

要約(オリジナル)

Vertical Federated Learning (VFL) is a category of Federated Learning in which models are trained collaboratively among parties with vertically partitioned data. Typically, in a VFL scenario, the labels of the samples are kept private from all the parties except for the aggregating server, that is the label owner. Nevertheless, recent works discovered that by exploiting gradient information returned by the server to bottom models, with the knowledge of only a small set of auxiliary labels on a very limited subset of training data points, an adversary can infer the private labels. These attacks are known as label inference attacks in VFL. In our work, we propose a novel framework called KDk, that combines Knowledge Distillation and k-anonymity to provide a defense mechanism against potential label inference attacks in a VFL scenario. Through an exhaustive experimental campaign we demonstrate that by applying our approach, the performance of the analyzed label inference attacks decreases consistently, even by more than 60%, maintaining the accuracy of the whole VFL almost unaltered.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google