Secure Split Learning against Property Inference, Data Reconstruction, and Feature Space Hijacking Attacks

要約

タイトル: プロパティ推論、データ再構成、特徴空間ハイジャック攻撃に対する安全なスプリット学習
要約:

– スプリット学習は、異なる背景から来たゲストとホストの利益のために共同で学習する有望な解決策を提供し、垂直にパーティション化された特徴を保持します。
– しかし、スプリット学習は敵対的な参加者に対する新しい攻撃面を作成するため、実世界での実際的な使用を妨げます。
– プロパティ推論、データ再構成、特徴ハイジャック攻撃などの高度に脅威的な攻撃の敵対的な影響を調査し、スプリット学習の潜在的な脆弱性を特定し、対策を提案します。
– 潜在的な脅威を防ぎ、スプリット学習の学習保証を確保するために、ゲストとホストの情報交換のためのプライバシー保存トンネルを設計します。
– そのために、知識の伝播を制御可能な統一された解決策で各方向に擾乱させることを意図した新しいアクティベーション関数「R3eLU」を提案します。
– 私たちは、3つの脅威的な攻撃に対する安全なスプリット学習を最初に提供し、細かいプライバシー予算割り当てスキームを示します。
– 分析は、私たちのプライバシー保存スプリット学習ソリューションが厳密なプライバシー予算を提供することを証明し、実験結果は、既存のソリューションよりも多くの場合で私たちのソリューションが優れており、防御とモデルの使いやすさのバランスが良いことを示しています。

要約(オリジナル)

Split learning of deep neural networks (SplitNN) has provided a promising solution to learning jointly for the mutual interest of a guest and a host, which may come from different backgrounds, holding features partitioned vertically. However, SplitNN creates a new attack surface for the adversarial participant, holding back its practical use in the real world. By investigating the adversarial effects of highly threatening attacks, including property inference, data reconstruction, and feature hijacking attacks, we identify the underlying vulnerability of SplitNN and propose a countermeasure. To prevent potential threats and ensure the learning guarantees of SplitNN, we design a privacy-preserving tunnel for information exchange between the guest and the host. The intuition is to perturb the propagation of knowledge in each direction with a controllable unified solution. To this end, we propose a new activation function named R3eLU, transferring private smashed data and partial loss into randomized responses in forward and backward propagations, respectively. We give the first attempt to secure split learning against three threatening attacks and present a fine-grained privacy budget allocation scheme. The analysis proves that our privacy-preserving SplitNN solution provides a tight privacy budget, while the experimental results show that our solution performs better than existing solutions in most cases and achieves a good tradeoff between defense and model usability.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI